WebDoctor 博客
关于站点地图、抓取与网站技术健康的实用指南，每一篇都可以直接照做。
robots.txt
面向 AI 爬虫的 robots.txt：允许与拒绝配方
用一个小小的文本文件，通过三份配方和逐个爬虫的对照表，控制 GPTBot、ClaudeBot、PerplexityBot 及其余爬虫。
站点地图XML 站点地图常见错误及修复方法
从命名空间写错到 Search Console 的「无法获取」，本文汇总了验证器最常报出的站点地图错误，每一项都给出可以直接照做的修复步骤。
站点地图XML 站点地图最佳实践
站点地图不是页面的全量堆放处，而是交给搜索引擎的一份精选清单。本文给出收录标准、维护节奏和提交渠道的完整实践，并澄清几个流传最广的误区。
站点地图索引Sitemap 索引文件完全指南
当一个站点地图装不下整个网站时，索引文件负责把多个站点地图组织起来。本文用一个完整示例讲清它的语法、规则，以及最容易踩的坑。
llms.txtllms.txt 是什么？你的网站需要它吗？
网站根目录下的一个小小 markdown 文件，就能告诉 AI 系统你的网站是什么、哪些页面最重要。本文讲清它的工作原理，以及什么情况下值得添加。
AI 搜索AI 就绪指南：让 ChatGPT 和 Perplexity 引用你的网站
AI 助手只会推荐它能抓取、能解析、能信任的网站。这是三个彼此独立的问题，而大多数网站至少在其中一处失分而不自知。