robots与sitemap配置：让搜索引擎按站点结构发现页面

🗺️ robots.txt与sitemap的边界

robots.txt提供抓取规则和站点地图位置，sitemap提供站点希望搜索引擎发现的URL集合。它们帮助爬虫理解结构，但不保证收录、排名或删除已知页面。重要页面还应有清晰的站内链接，页面本身也需可访问并包含正确的规范化信号。

📄 编写并检查robots.txt

将文件放在对应主机根路径，例如https://example.test/robots.txt，确认请求返回预期状态、文本内容和正确的站点版本。按User-agent检查规则匹配顺序及Disallow路径，特别留意是否误屏蔽整个目录、重要页面或渲染所需的CSS/JS资源。robots规则针对抓取行为，不提供访问控制；私密内容必须通过认证和授权保护。

同一站点的HTTP/HTTPS、www/裸域可能对应不同主机规则。检查实际对外入口与CDN缓存内容，避免只改源站文件而边缘仍送出旧版本。

🧭 生成可用的sitemap

地图应包含规范、可索引且可公开访问的绝对URL。不要把登录页、重复筛选参数、内部搜索结果、跳转地址和404页面放进去。抽样请求地图URL，确认状态码成功、最终地址合理、规范标签与预期一致。大型站点可拆成多个地图并用索引文件组织，遵循目标搜索引擎当前支持的格式与数量限制。

lastmod适合表达页面内容实质更新日期；如果每次构建都全量刷新日期，会降低该字段的参考价值。地图按内容路由生成，发布后应能与站点路由清单对照。

🔗 发布后的诊断顺序

1. 从各个正式主机入口检查robots和sitemap是否能访问，记录状态、内容类型、重定向与缓存年龄。
2. 将robots规则与重要路由逐条比对，确认资源抓取不受意外阻断。
3. 从sitemap抽取首页、分类页和内容页样本，验证可访问、规范URL与实际主机一致。
4. 通过站点管理工具查看抓取错误、发现URL和规范化选择，区分“已抓取”与“已收录”。

✅ 常见误区和验收

robots.txt不能用于隐藏敏感页面，也不一定能删除已被索引的URL；需要移除内容时应使用适合的访问控制或页面索引指令并遵循搜索引擎流程。地图列出URL不等同于搜索引擎必须收录。验收应证明文件可读、重要URL未被禁止、地图中URL真实规范且无大量错误，并持续跟踪抓取报告。🧩