安东尼奥·洛佩兹
您知道“抓取预算”这个词吗？今天我不仅要告诉你它是什么，还要告诉你如何尽可能地改进它，以尝试在你的网上商店的定位中获得一些位置。
在谷歌在全球电子商务销售领域占据主导地位的世界中，我们几乎被迫采用某些线下业务不熟悉的术语和术语。
此外，直到几年前，甚至 SEO 本身都没有注意到这一点。
其中之一就是我今天要和大家谈论的，所以让我们从它的定义开始：
什么是抓取预算？
Crawl Budget，西班牙语称为“抓取预算”，是Google给予某个网页抓取其URL内容的时间。
页面的权限越高，抓取预算就越高，因此 Google 将能够抓取网站上更多的页面。
为了使某些内容出现在搜索引擎中（即被索引和 伊拉克电报电话号码列表 列出），必须首先对其进行爬网。
Google Bot（机器人）通过外部链接
访问我们的网站，抓取（并呈现）该页面的内容，包括链接。
一旦完成对该页面的爬行，机器人将沿着未标记为“nofollow”的链接来发现该网站上的其他页面，对所有页面执行相同的爬行、渲染和链接跟踪工作。
Google 机器人每天在网站上呈现的 URL 越多，在 Google 上建立索引和列出的机会就越大。但抓取预算是有限的，因此机器人不会每天抓取网站的所有 URL…
抓取预算有什么用？
“抓取预算”的第一个也是最重要的用途是让某个页面在 SERP 中尽可能高地列出和定位。
抓取预算越大，并且网站为此进行了优化，Google将能够抓取网站上更多数量的页面，并且能够更准确地衡量内部Page Rank。
因此，给它分配必要的权限，这样，如果它响应了谷歌指南的其余部分，它就可以排在第一位。
控制和优化跟踪预算还可以限制对服务器的访问。
如果 Google Bot 访问大量实际上没有任何贡献的页面，例如搜索页面、分页、最佳报价、方面过滤器等，那么我们在服务器上完成的工作就会少得多。
虽然我们很大程度上不必关心这第二次使用。
如何优化网上商店的抓取预算？
跟踪预算的问题在于它是有限的。因此，它已经筋疲力尽了。
正如我们所说，谷歌为“蜘蛛”（也就是他们所说的爬行机器人）分配爬行时间，以发现并爬行网站的页面。
只要我们的网站得到优化，谷歌的跟踪就会或多或少地有效。为了改进它，我们可以从以下几个方面入手：
1) 提高加载速度
如何提高网上商店的点击率？
加载速度是影响抓取预算以及内部链接的主要因素。
如果 Google 机器人用于抓取我们网站的时间有限，则加载每个页面所需的时间越长，浪费的时间就越多。
例如[以下数据是一个示例，切勿考虑]分配给“ tiendaonlinedemo.com ”的抓取预算是20秒。
如果Google大约需要5秒来抓取网站的每个页面，则意味着它将只能抓取您网站上的4个URL。
问题出现在第二天或三天或者当搜索
引擎返回您的页面时，它会再次抓取另外 4 个页面，但如果它是通过相同的链接进入的，它可能会抓取相同的 URL，而始终不会抓取其余的页面。
这意味着 Google 将无法对它不抓取的任何页面进行索引或列出，从而对其进行排名。
现在，如果加载速度为0.5秒，则意味着Google将能够抓取该网站的40个URL。
这就是为什么加载速度对于优化抓取预算至关重要。
在我自己的博客上，我准备了一份尽可能改进 PrestaShop 商店的指南，其中包含分步技术和工具，可供任何用户使用。
2）阻止Robots.txt中的某些页面
有一些电子商务网址我们不希望被索引，因为它们是重复内容，或者因为它们是薄内容，或者它们根本没有贡献任何内容，我们不希望它们出现在搜索引擎中。
因此，最好在Robots.txt中屏蔽它们，这样Google就无法访问它们，也不会浪费时间在这些页面上抓取。
这样，谷歌和任何机器人都无法访问它们，但他们将能 什么是视觉传达以及它如何改善客户服务？够对它们建立索引。
为了防止它们被索引，您必须将它们设置为 noindex。
3) Nofollow 链接到被阻止的页面
合乎逻辑的是，如果您阻止 Googlebot 进入某个页面，请不要残忍地将其发送到该地址。
因此，对于目的地为被阻止页面的链接，最好在链接关系 河南移动电话号码列表 中添加rel=”nofollow”，以警告爬虫不必跟踪该链接。
4) 指向重定向页面（301、302）或带有 404 错误的链接
6 个搜索引擎优化错误
您应该完全避免出现大量链接到错误的页面，因为这是蜘蛛浪费的宝贵时间，并且可以用来抓取其他 URL。
但我们还必须注意不要有指向重定向到其他页面的页面的链接。
例如，一个很常见的错误是，更改为https后，页面内有链接指向网站的http版本。
如果我们不更改这些链接，它将导致我们必须避免的重定向。
更何况，如果该页面也重定向到另一个页面，即存在双重重定向。
但最严重的情况发生在存在重定向循环时。
当您从一个页面重定向到另一个页面并且重定向永远不会结束时，就会发生这种情况。
我们必须发现这一点，因为这对于机器人来说可能是一个非常严重的错误。
5）链接雕刻
实际上，链接雕刻正在详细处理内部链接，以控制 什么是抓取预算 链接汁并防止其浪费在不值得的网站上。
这通常通过内部和外部链接来完成。
但这也将帮助我们优化网站的预算爬行，因为您可以 什么是抓取预算 将机器人带到我们想要它去的地方，并防止它进入不值得的页面。
6）创建一个Sitemap.html并将其放置在首页或所有页面可见的站点上
通常，我们创建站点地图并将其放置在页脚中。
站点地图将是一个 HTML 页面，其中所有内容都以链接的形式出现在网络上，我们有兴趣让 Google 跟踪它。
除了将 sitemap.xml 发送到Search Console之外，非常有趣的是，例如在页脚中，有一个带有跟随链接的文件（称为 sitemap 或其他），以便 Google 蜘蛛可以在 2 内到达任何站点点击结果。
虽然我们已经知道点击并不是这样的点击。由于谷歌不会点击任何网站。