抓取预算（Crawl budget）
简明回答
多数网站可以不管抓取预算。抓取预算由抓取容量上限和抓取需求决定。Google 的指南只面向超大或变化很快的网站（100 万以上页面且每周变化，或 1 万以上页面且每天变化）。其他网站保持 Sitemap 更新、定期查看网页索引编制报告即可。
你需要在意吗？
Section titled “你需要在意吗？”被抓取不等于被索引
Section titled “被抓取不等于被索引”- HTTP 状态码与爬虫：5xx 和 429 响应会让抓取放慢。
- XML 站点地图（Sitemap）：Google 对所有网站建议的最低做法。