Пускать ли ботов нейросетей на сайт: четыре варианта настройки robots.txt
- Какие боты нейросетей заходят на сайт и зачем
- Как закрыть обучение моделей и остаться в ответах
- Какой вариант robots.txt подойдёт вашему сайту
На сайт каждый день заходят боты нейросетей. Одни собирают тексты для обучения моделей, другие индексируют страницы для поиска внутри чат-бота, третьи открывают страницу, когда пользователь прямо сейчас задал вопрос. Файл robots.txt позволяет пускать или не пускать каждого из них отдельно. Ниже - какие боты есть у крупных сервисов, четыре варианта настройки и кому какой подойдёт.
Какие боты бывают
| Сервис | Обучение моделей | Поиск внутри сервиса | Запрос пользователя |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | не используется | PerplexityBot | Perplexity-User |
| токен Google-Extended | обычный Googlebot | - |
OpenAI пишет, что каждая настройка независима от остальных: можно разрешить OAI-SearchBot и запретить GPTBot. Anthropic предупреждает, что запрет Claude-SearchBot и Claude-User может снизить видимость сайта в ответах. Perplexity пишет, что его боты не используются для обучения моделей.
У Google отдельного бота для нейросетей нет. Google-Extended - это токен в robots.txt: он управляет тем, можно ли использовать содержимое сайта для обучения будущих моделей Gemini, и, по словам Google, не влияет на включение сайта в Google Search и на ранжирование.
Четыре варианта настройки
- Пустить всех. Ничего не запрещать. Сайт доступен и для обучения, и для поиска.
- Закрыть только обучение. Запретить GPTBot, ClaudeBot и токен Google-Extended, поисковых ботов и ботов запросов пустить.
- Закрыть всех AI-ботов. Запретить все перечисленные user-agent'ы.
- Выборочно. Пустить сервисы, где важно присутствие, и закрыть остальные.
Важная оговорка: OpenAI и Perplexity пишут, что их боты, работающие по запросу пользователя (ChatGPT-User, Perplexity-User), могут не соблюдать robots.txt, потому что страницу запросил человек.
Критерии выбора
- Видимость в ответах. Если сайт должен попадать в ответы ChatGPT, Claude или Perplexity, поисковых ботов этих сервисов закрывать нельзя.
- Обучение. Если тексты - ваш продукт (платные материалы, авторские исследования), разумно закрыть ботов обучения.
- Нагрузка на сервер. Если боты заметно нагружают сайт, ограничивайте их выборочно, а не всех разом.
- Проверка. После правки robots.txt проверьте, что поисковые боты Google и Яндекса по-прежнему пропускаются: неаккуратная строка может закрыть больше, чем нужно.
Кому какой вариант подойдёт
Пустить всех или закрыть только обучение. Поисковых ботов и ботов запросов не трогайте, иначе сайт реже будет попадать в ответы. Как вообще попадать в ответы, разобрано в материале SEO, GEO или внешние публикации.
Закрыть обучение (GPTBot, ClaudeBot, Google-Extended), поиск оставить. Так сайт остаётся в ответах, а тексты не уходят в обучающие наборы.
Подходит, если присутствие в нейросетях вам не нужно. Помните, что запросы от имени пользователя robots.txt может не остановить.
Частые вопросы
Другие разборы - в разделе «Маркетинг и реклама». Если продвижением займётся подрядчик, пригодится сравнение вариантов, кому его доверить. Как мы проверяем факты - в методике.
Источники
- OpenAI: Overview of OpenAI Crawlers - GPTBot, OAI-SearchBot, ChatGPT-User, независимость настроек. Проверено 29.09.2026.
- Anthropic: Does Anthropic crawl data from the web - ClaudeBot, Claude-SearchBot, Claude-User. Проверено 29.09.2026.
- Perplexity: Perplexity Crawlers - PerplexityBot и Perplexity-User. Проверено 29.09.2026.
- Google: Google's common crawlers - токен Google-Extended. Проверено 29.09.2026.
- Google Search Central: AI features and your website - управление показом в AI-функциях поиска. Проверено 29.09.2026.
Отправьте другу или себе в «Избранное» в Telegram, чтобы не потерять.
Читайте также
SEO, GEO или публикации на чужих площадках: три способа попасть в ответы нейросетей
Три способа добиться, чтобы нейросети называли компанию в ответах: SEO сайта, GEO и внешние упоминания. Критерии выбора и кому какой подойдёт.
Кому доверить интернет-рекламу: самому, штатному специалисту, фрилансеру или агентству
Четыре варианта вести интернет-рекламу, пять критериев сравнения, кому какой подойдёт и что проверить в договоре, включая маркировку рекламы.
Как выбрать ИБП: резервный, линейно-интерактивный или с двойным преобразованием
Три класса источников бесперебойного питания по IEC 62040-3, как считать мощность в ваттах и какой ИБП взять для компьютера, сервера или котла.
Как выбрать молоко: пастеризованное, ультрапастеризованное, стерилизованное или топлёное
Четыре вида питьевого молока по ГОСТ 31450-2013: чем отличаются, какое хранится без холодильника до вскрытия и кому какое подойдёт.
Готовит рейтинги и подборки по открытой методике: критерии называем до сравнения, у каждого варианта пишем плюсы и минусы, факты проверяем по открытым источникам.