技术实现
内容只有被爬虫拿到才算数。本栏目关注从请求到爬虫拿到 HTML 之间发生的事：JavaScript 是否执行，自称爬虫的请求是否真是爬虫。
- JavaScript 渲染与 AI 爬虫：Googlebot 会渲染什么，以及 2024 年一项研究发现大多数 AI 爬虫不会渲染什么。
- 在服务器日志中验证 AI 爬虫流量：确认请求真的来自 Google、OpenAI、Anthropic 或 Perplexity。
- HTTP 状态码与爬虫：4xx、5xx 和重定向如何影响索引。
- 页面体验与 Core Web Vitals：Core Web Vitals 及其重要程度。
- AI 智能体与你的网站：浏览器智能体如何读取网站，以及什么做法对它们有帮助。
本专题条目
概念
指南
参考
- HTTP 状态码与爬虫2xx 不保证被索引；301 是强重定向信号，302 是弱信号。4xx（429 除外）的 URL 不会被索引。5xx 和 429 让抓取放慢，已索引 URL 最终也会被移除。不要用 401 或 403 限速。
- JavaScript 渲染与 AI 爬虫Googlebot 用无头 Chromium 渲染 JavaScript。Vercel 和 MERJ 2024 年 12 月的研究发现，OpenAI、Anthropic、Perplexity 等主要 AI 爬虫不执行 JavaScript。客户端渲染才出现的内容，它们可能看不到。
- 页面体验与 Core Web Vitals不存在单一的页面体验信号，Core Web Vitals 是排名系统参考的信号之一。良好阈值为 LCP 2.5 秒内、INP 低于 200 毫秒、CLS 低于 0.1。好分数不保证排名，相关性可能更重要。