跳到主要内容

如何使用 SEO Spider 进行死链建设

2024-02-03

通过使用 SEO Spider 抓取种子 URL 列表，并发现其上的外部死链以进行外展，从而扩大死链建设的规模。

如果您之前没有听说过“死链建设”，它本质上是一种策略，包括让网站管理员知道他们网站上的死链，并建议一个替代资源（可能是您自己的网站或特定的内容，以及任何其他资源）。

链接建设者通常采用以下两种方法：

  1. 收集大量的“潜在客户”列表，例如资源页面或围绕特定内容主题或搜索短语的页面。然后检查这些页面是否存在死链。
  2. 另一种方法是简单地选择一个网站，检查其全部内容是否存在相关的资源页面和死链（并可能创建内容，以便您可以推荐您自己的网站）。

我不想深入探讨整个过程，您可以在 Moz 上阅读 Russ Jones 撰写的精彩指南。然而，由于我们经常被问到这个问题，我想解释一下如何使用 Screaming Frog SEO Spider 工具来帮助扩大这个过程的规模，特别是对于上面列出的第一种方法。

1) 切换到列表模式​

当您拥有要检查外部死链的相关潜在客户列表时，启动 Screaming Frog SEO Spider 并将模式从“Spider”切换到“List”。

死链建设的列表模式

2) 移除抓取深度​

默认情况下，在列表模式下，抓取深度为“0”，这意味着只会抓取您列表中的 URL。

但是，我们需要从列表中的 URL 抓取外部 URL，因此通过取消勾选“Configuration > Spider > Limits”下的抓取深度来移除它。

移除死链建设的抓取深度

3) 选择仅抓取和存储外部链接​

移除抓取深度后，SEO Spider 现在将抓取 URL 列表，以及在其中找到的任何链接（内部和外部，以及资源）。

因此，接下来您需要限制 SEO Spider 仅从 URL 列表抓取外部链接。您不想浪费时间抓取内部链接或资源，例如图像、CSS、JS 等。

因此，在“Configuration > Spider > Crawl”下，仅保持“External Links”启用，并取消勾选所有其他资源和页面链接类型。

死链建设外部链接配置

这将意味着只会存储和抓取上传的 URL 以及在其中找到的外部链接。

4) 上传您的 URL 并开始抓取​

现在复制您要检查的 URL 列表，单击“Upload > Paste”，SEO Spider 将抓取 URL，达到 100% 并停止。

5) 查看死链和来源页面​

要在 SEO Spider 中查看发现的外部死链，请单击“Response Codes”选项卡和“Client Error (4XX)”过滤器。它们将显示“404”状态代码。

死链

要查看原始上传的 URL 列表中的哪个页面包含死链，请使用底部的“Inlinks”选项卡。单击顶部窗口窗格中的 URL，然后单击底部的“Inlinks”选项卡以填充底部窗口窗格。

查看死链来源页面

您可以单击上面查看更大的图像。

正如您在此示例中看到的，存在指向 BrightonSEO 网站的死链 (https://www.brightonseo.com/people/oliver-brett/)，该链接来自此页面 – https://www.screamingfrog.co.uk/2018-a-year-in-review/。

6) 使用“Bulk Export > All External Links”导出它们​

此导出将包含上传列表中的所有 URL，以及它们的外部链接和各种响应代码。

导出外部链接

7) 在电子表格中打开并过滤状态代码为 4XX​

上传的种子 URL 列表是 B 列中的源 URL，而我们想要检查死链的外部链接是 C 列中的目标 URL。如果您过滤“状态代码”列，您可能会看到一些“404”死链。

这是一张快速截图，其中包含我从我们网站和一些著名的搜索营销博客上传的十几个博客 URL（单击以查看更大的图像，因为它相当小）。

死链！

就是这样，您有了一个死链列表及其死链建设的来源。您现在可以停止阅读了，但仅检查 4XX 错误意味着您会错过进一步探索的机会。

这是因为 URL 可能无法正确或立即返回 404 错误。通常，URL 会在最终达到 404 状态之前 302（301 或 303）一次或多次。如果某些 URL 完全不存在，它们也会响应“无响应”，例如“DNS 查找失败”。因此，扫描“Response Codes > No Response”下的 URL，并检查状态代码以获取进一步的潜在客户机会。

对于 3XX 响应，大规模审核这些响应稍微复杂一些，但通过正确的流程（如下所述）可以快速而轻松地完成。

1) 在“Destination URL”列中过滤 3XX 响应​

使用相同的“External Links”电子表格，扫描“destination URLs”列表，查找任何不必要的抓取内容。毫无疑问，它将包含诸如 Twitter、Facebook、LinkedIn 和登录 URL 等所有重定向的链接。在此列上运行快速过滤器，并从列表中批量删除所有垃圾，以帮助节省抓取时间。

2) 保存此新的 3XX 列表​

您稍后可能需要此列表，以便将 3XX 的目标 URL 匹配回其原始源 URL。这是清理后列表中剩下的内容，我们需要对其进行审核。

要审核的 3xx 响应

3) 现在审核这些重定向​

按照“如何审核重定向”指南中概述的过程，将“destination URLs”保存到新列表中，并使用“始终遵循重定向”配置抓取到它们的最终目标 URL，以发现任何死链。

“所有重定向”报告将提供跃点的完整视图并显示最终目标 URL。

4) 将发现的 4XX 错误与您保存的 3XX 列表源 URL 进行匹配​

如果您没有审核 3XX 响应，“所有重定向”报告可能包含您会错过的 4XX 错误。例如，以下是我使用此方法发现的另外几个：

更多死链

上面包含一个 301 重定向到 404 的 URL，以及另一个具有软 404、302 重定向到 200 响应的 URL。使用此报告，您可以将“A 列”中的“address”URL 匹配回您保存的 3XX 列表中的“destination URLs”和后续“source URLs”。例如，此示例中的上述两个都来自同一篇博客文章。

希望以上过程有助于提高死链建设的效率。如果有任何问题，请像往常一样在评论中告诉我们。

请记住！​

这篇文章专门介绍如何使用 SEO Spider 进行死链建设。如果您只是想发现单个网站上的死链，请阅读我们的如何查找死链指南。