Блог WebDoctor
Практические руководства по картам сайта, краулингу и техническому здоровью сайтов — написанные так, чтобы по ним можно было действовать.
robots.txt для ИИ-краулеров: рецепты разрешить и запретить
Три рецепта и таблица по каждому боту, чтобы управлять GPTBot, ClaudeBot, PerplexityBot и остальными из одного небольшого текстового файла.
sitemapОшибки в sitemap.xml: как найти и исправить каждую
Почти все проблемы с картой сайта сводятся к десятку типовых ошибок. Разбираем каждую: симптом, причину и конкретное исправление.
sitemapЧто включать в sitemap.xml: лучшие практики
Хорошая карта сайта — это короткий и честный список канонических страниц. Разбираем, что в неё включать, что выбрасывать и как поддерживать её в форме.
sitemapИндекс Sitemap: зачем нужен и как его настроить
Когда одна карта сайта перестаёт вмещать все URL, на сцену выходит индекс Sitemap — карта карт. Разбираем формат, правила и типичные ошибки.
llms.txtЧто такое llms.txt и нужен ли он вашему сайту
Небольшой markdown-файл в корне сайта объясняет AI-системам, что это за сайт и какие страницы на нём главные. Разбираем, как он устроен и когда его стоит завести.
AI-поискAI-готовность: как попасть в ответы ChatGPT и Perplexity
AI-ассистенты рекомендуют только те сайты, которые могут обойти, разобрать и процитировать. Это три отдельные задачи, и большинство сайтов проваливает хотя бы одну, не подозревая об этом.