抓取与索引
每一个引用网页的 AI 回答，都始于爬虫抓取页面、索引存储页面。对于 Google 的 AI 功能，有文档说明的页面级要求是已被编入索引且可展示摘要；网站也不能在 Search Console 中退出生成式 AI 功能（Google AI 概览（AI Overviews））。因此本栏目是整个知识库的基础。
- robots.txt：爬虫可以抓取什么，以及为什么屏蔽抓取不等于取消索引。
- 为 AI 爬虫配置 robots.txt：为 AI 搜索爬虫和 AI 训练爬虫分别做决定。
- 规范网址（canonical）信号：一组重复页面中由哪个 URL 作为代表。
- 为多语言页面设置 hreflang：把各语言版本关联起来，又不让它们被视为重复内容。
- XML 站点地图（Sitemap）：帮助发现页面，以及 Google 会忽略 Sitemap 中的哪些内容。
- 让页面不出现在 Google 中：从搜索结果中移除页面，避开 robots.txt 的陷阱。
- AI 概览与 AI 模式的摘要控制：限制 AI 概览和 AI 模式使用的内容，同时留在搜索中。
- Google-Extended：退出 Gemini 训练，不影响搜索。
- 抓取预算（Crawl budget）：哪些网站需要考虑它（大多数不需要）。
- 将网站迁移到新网址：迁移到新网址或新域名，同时保住已有的积累。
- 移动设备优先索引：Google 索引的是移动版，要保证它内容完整。
- 说法核查：重复内容会让网站受到惩罚：为什么重复网页会被过滤，而不是被惩罚。
- 网址结构：可抓取、易读的网址，以及会让网址数量倍增的参数。
本专题条目
指南
- 为 AI 爬虫配置 robots.txt把搜索爬虫和训练爬虫当作两个独立的决定。屏蔽 OAI-SearchBot 这样的搜索爬虫，网站会从该产品的回答中消失。屏蔽 GPTBot 或 Google-Extended 这样的训练标识，不影响搜索收录。
- 为多语言页面设置 hreflang在每个语言版本上添加 hreflang 标注，列出所有版本（包括它自己）。标注必须双向互指，使用有效的语言代码（地区代码可选），并指向规范的、可索引的 URL。
- 将网站迁移到新网址迁移网站时，用 301 或 308 永久重定向把旧 URL 一对一映射到新 URL，避免重定向链，一般至少保留一年。更换域名时，要为旧域名的每个已验证变体提交地址更改请求。排名会波动，中型网站可能要几周或更久才稳定；301 不损失 PageRank。
- 让页面不出现在 Google 中要让页面不出现在 Google 搜索中，应使用 noindex，并保持页面可被抓取。只靠 robots.txt 做不到，因为 Google 必须抓取页面才能看到 noindex。永久移除应删除或保护内容；删除工具能在一天内隐藏页面，但只维持大约六个月。
参考
- AI 概览与 AI 模式的摘要控制Google 的 robots meta 规则同样适用于 AI 概览和 AI 模式。nosnippet 阻止内容被直接用作输入，max-snippet 限制可用的内容量，data-nosnippet 排除页面局部，noindex 把页面移出搜索。只想退出 AI 功能而保留传统结果，可用 Search Console 全站范围的「搜索生成式 AI 控制」。
- Google-ExtendedGoogle-Extended 是 robots.txt 中的产品标识，没有独立的爬虫。它控制 Google 抓取的内容能否用于训练 Gemini 模型，以及 Gemini Apps 和 Vertex AI 的依据生成（grounding）。它不影响 Google 搜索的收录和排名，AI 概览和 AI 模式也属于搜索。
- robots.txtrobots.txt 告诉爬虫可以抓取哪些 URL 路径，已标准化为 RFC 9309。它只控制抓取，不控制索引。被禁止抓取的 URL 如果有其他页面链接，仍可能在没有内容的情况下被编入索引。
- XML 站点地图（Sitemap）Sitemap 帮助 Google 发现 URL，但不保证抓取或索引；链接良好的网站可能并不需要。每个文件最多 50 MB（未压缩）或 50,000 个 URL。Google 忽略 priority 和 changefreq，lastmod 只在一贯且可验证地准确时才用。
- 抓取预算（Crawl budget）多数网站可以不管抓取预算。抓取预算由抓取容量上限和抓取需求决定。Google 的指南只面向超大或变化很快的网站（100 万以上页面且每周变化，或 1 万以上页面且每天变化）。其他网站保持 Sitemap 更新、定期查看网页索引编制报告即可。
- 移动设备优先索引Google 用智能手机抓取工具抓到的移动版内容进行索引和排名。自适应设计只有一份 HTML，无需额外对齐。动态提供或独立移动网址则要求移动版的内容、标题、robots meta 标记、结构化数据、title 和 meta description 与桌面版一致，主要内容不能藏在用户交互之后。
- 网址结构Google 要求网址遵循 IETF STD 66，参数使用 = 和 &，不用网址片段切换内容（应使用 History API）。Google 建议用受众语言的描述性词语、用连字符分隔单词、少用参数；网址区分大小写，应统一大小写。可叠加的筛选参数会产生大量近似重复的网址，浪费抓取资源。
- 规范网址（canonical）信号Google 把 rel="canonical"、重定向和 Sitemap 收录都当作规范化信号，最终的规范网址由它自己决定。重定向和 rel="canonical" 都是强信号，Google 把重定向列在前面；Sitemap 是弱信号。