谷歌的抓取预算

什么是抓取预算crawl budget？

抓取预算是指Googlebot在一定时间内抓取和索引一个网站的页面数量上限。

为什么抓取预算对SEO很重要？

简而言之：如果Google不索引一个页面，它就不会有任何排名。

所以，如果你的页面数量超过了网站的抓取预算，那么你的网站上就会有一些页面没有被索引。

绝大多数的网站都不需要担心抓取预算的问题。Google在查找和索引页面方面真的很厉害。

有一些情况下，你需要注意抓取预算:

• 你经营的是一个大网站。如果你有一个网站（如电子商务网站）有10k以上的页面，Google会很难找到全部页面。
• 你刚刚添加了一堆页面。如果你的网站最近添加了一个新的部分，有数百个页面，你要确保你有足够的抓取预算来让它们都能快速被索引。
• 大量的重定向。大量的重定向和重定向会吃掉你的大部分抓取预算。

这里有一些简单的方法来最大化你的网站抓取预算。

最佳实践

提高网站速度

提高网站的页面速度，可以让Googlebot抓取更多的网站URL。

事实上，谷歌指出：”让网站速度更快，可以改善用户的体验，同时也能提高谷歌爬行率。”

换句话说，

加载慢的页面占用了Googlebot的宝贵时间。

但如果你的页面加载速度快，Googlebot就有时间访问并索引更多的页面。

使用内部链接

Googlebot会优先考虑有大量外部和内部链接指向的页面。

理想情况下，你网站上每一个页面的最好都有外链。但这是不现实的。

这就是为什么内部链接是如此关键。

你的内部链接会将Googlebot发送到你的网站上的所有不同页面，即你希望被索引的页面。

扁平化网站架构

根据Google的说法，

“互联网上比较受欢迎的URL往往会被抓取更多，以保持它们在我们的索引中的新鲜度。”

而在Google的世界里，流行=权重。

这就是为什么你要在网站上使用扁平化的网站架构。

一个扁平化的架构可以让你的网站的所有页面都有一些链接权限流向它们。

避免 “孤岛页”

孤立页面是指没有内部或外部链接指向它们的页面。

Google真的很难找到 “孤儿 “页面。

因此，如果你想获得最大的抓取预算，请确保至少有一个内部或外部链接指向你网站上的每个页面。

限制重复内容

事实证明，重复内容会伤害你的抓取预算。

这是因为Google不希望通过索引相同内容的多个页面来浪费资源。

所以，要确保你的网站100%的页面都是由独特的、高质量的内容组成。

这对于一个拥有10k+ 内容不同页面的网站来说并不容易。但如果你想从抓取预算中获得最大的收益，这一点是必须的。