WordPress SEO “抓取预算”问题及其解决方法：提升SEO效果

大家好！今天的教程会有一个新词汇——抓取预算。他是谷歌的一个直译词汇，大家不用过度的纠结它，只需要明白它的含义即可。

WordPress SEO 中的“抓取预算”是指搜索引擎在特定时间内分配给网站的抓取资源量。这些资源量决定了搜索引擎在给定时间内能够抓取和索引网站上多少内容。抓取预算对于网站尤其重要，因为它会影响网站的所有页面是否能被及时抓取和索引。

搜索爬行如何工作？

谷歌、必应、百度等搜索引擎使用复杂的机器人（计算机程序）来访问互联网上的网站。这些机器人会寻找WordPress 网站上的变化并将其与主搜索索引进行比较。我们下文以谷歌为例：

如果他们发现新内容，他们会将其添加到搜索索引中。如果他们发现索引中已有内容但已发生更改，他们会用新内容更新索引。

然后，搜索机器人会跟踪页面上的所有链接，然后对这些页面重复该过程。

机器人从页面上的一个链接移动到其他链接的方式与真实蜘蛛沿着其网爬行的方式类似。

这就是为什么使用术语“爬行”来描述这种活动的原因，有时可能会看到被称为搜索引擎蜘蛛的机器人。

为了更好的 SEO效果，需要确保搜索引擎可以轻松抓取你网站的内容。

SEO抓取预算是多少？

SEO 抓取预算是 Google 等搜索引擎抓取网站页面的次数。

Google 机器人每天会抓取数十亿个网页。它们会计算出每个网站要抓取多少个网页，以高效利用资源。

该数字是由爬网算法根据多种因素自动确定的。

它每天都在波动，因此 Google 机器人会在网站或WordPress 博客上抓取多少页面并没有固定的数字。

一般来说，网站越大、内容越多，抓取预算就越高，而网站越小，预算就越低。

其他因素也会影响抓取预算，例如 URL 的流行度、新鲜度、更新频率等。

但是，由于某种原因，可能会在不需要的页面上失去抓取预算。

例如，如果网站没有得到适当的优化，那么搜索引擎就会将抓取预算花在网站中不太重要的部分而不是重要内容上。

同样，意外阻止搜索引擎抓取网站。如果发生这种情况，网站可能根本没有使用抓取预算。例如，不小心勾选了“阅读‘下面的”建议搜索引擎不索引本站点“

什么原因导致 WordPress SEO 抓取预算问题？

WordPress 生成 URL 和重复内容的方式可能会导致抓取预算问题。

例如，WordPress 会自动为网站的不同区域生成RSS 提要。

有主博客、类别和标签的RSS 提要、每个单独的帖子和页面的评论，甚至还有具有单独 RSS 提要 URL 的自定义帖子类型的 RSS 提要。

这些 RSS 源的链接被添加到网站的 HTML 源代码中，以便搜索引擎可以发现它们。

现在，搜索引擎已经足够智能，可以识别并忽略重复内容。但是，它们仍然会抓取这些内容，但是会消耗网站的 SEO 抓取预算。

除此之外，搜索引擎还会抓取一些不太重要的项目。这包括存档页面、分类法、作者存档、PDF 文件等。

WordPress 插件或其他第三方工具也可以将查询参数添加到 WordPress URL。

Google 的蜘蛛可能会将这些查询参数视为不同的页面并进行抓取。

例如，UTM 参数用于Google Analytics 跟踪，无论有没有这些查询参数，页面看起来仍然是一样的。

例子：https://www.361sale.com/question/13222.html/

这会将 SEO 抓取预算浪费在不太重要的项目上，并成为一个问题。

如何计算你的SEO抓取预算？

SEO抓取预算并不是固定的页面数量。

它波动很大，并且没有可靠的方法可以预测 Google 在任何一天会抓取网站上多少页面。

但是，可以根据最近的抓取活动来了解 Google 如何抓取你的网站。

但是，必须先将网站添加到 Google Search Console。这是 Google 提供的免费工具，可帮助网站所有者了解他们的网站在 Google 搜索中的表现。

转到 Search Console 信息中心。从左栏切换到“设置”菜单，然后点击“抓取统计信息”旁边的“打开报告”。

抓取统计报告将显示过去几周内网站上的抓取请求概览。

可以将鼠标悬停在图表上以查看每天请求的页面数。

这可以让站长了解在此期间网站的平均抓取率。

下面，可以按响应代码、文件类型、目的和 Google 机器人类型查看抓取活动的细分。

从这里，可以看到抓取预算在错误、联合（RSS 提要）、JavaScript、CSS、图像等方面花费了多少。

这为提供了可优化项目的快照，以便更有效地利用 SEO 抓取预算。

例如，如果抓取了大量 404 错误，则可以使用重定向插件来确保这些抓取工具找到有用的内容。

为什么你应该关心SEO抓取预算？

搜索引擎必须有效地抓取网站，以便及时正确地为网站内容编制索引。

但是，如果 SEO 抓取预算被浪费，重要和较新的内容可能无法及时被抓取。

搜索引擎可能需要数周时间才能注意到旧文章的更新或发现新内容。

将会失去从搜索引擎获得流量的机会，网站SEO 排名可能不会提高。

如何轻松优化 WordPress 中的 SEO 抓取预算

在 WordPress 中优化 SEO 抓取预算的最简单、最安全的方法是使用All in One SEO for WordPress。

它是一个比较好的 WordPress SEO 插件，内置 SEO 抓取优化工具。

首先，安装并激活All in One SEO for WordPress插件。

注意：All in One SEO还有一个免费版本，其中还包括抓取清理功能。我们建议使用付费插件的 PRO 版本，因为它还可以让管理员访问重定向管理器工具来修复网站上的 404 错误。当然，我们商店里面也有正版授权的PRO 版本。

激活后，插件会显示安装向导。只需按照屏幕上的说明即可设置插件。

之后，可以转到“All in One SEO”»“搜索外观”页面。

然后，切换到“高级”选项卡。

向下滚动到页面底部，可以看到那里的“爬网清理”选项。

单击切换按钮可启用“爬网清理”功能。

会在爬网清理中看到的第一个选项是删除查询参数。

下面，可以提供要允许的查询参数列表。高级用户可以在此处使用 Regex 正则表达式。

接下来，会看到 WordPress RSS 源的选项。All in One SEO 会显示 WordPress 生成的所有类型的 RSS 源，可以禁用不太重要的 RSS 源。

例如：如果有一个单一作者博客，则可以禁用作者提要。

一旦禁用了所有不需要的 RSS 提要，要记得单击“保存更改”按钮来存储设置。

如何设置错误页面的重定向

All in One SEO 会自动已禁用的订阅源设置重定向。例如，标签 RSS 订阅源将把用户重定向到标签存档页面。

接下来，切换到你的 Google Search Console 信息中心并打开抓取统计信息报告。

从这里，可以看到导致错误的页面。

现在，根据状态代码，可以为这些页面设置重定向。

例如：可以将 404 错误重定向到类似页面。还可以检查其他有错误的页面并为其设置重定向。

All in One SEO 可以轻松在 WordPress 网站上设置重定向。只需转到All in One SEO » 重定向页面，在“源 URL”下添加旧 URL，在“目标 URL”字段下添加新 URL。

点击“添加重定向”按钮保存设置。然后，可以重复此过程以根据需要设置更多重定向。