# Пускать ли ботов нейросетей на сайт: четыре варианта настройки robots.txt

Какие боты есть у OpenAI, Anthropic, Perplexity и Google, чем бот обучения отличается от поискового и какой вариант robots.txt выбрать.

URL: https://vzvesili.ru/guides/ai-boty-robots-txt
Обновлено: 2026-10-01

---

На сайт каждый день заходят боты нейросетей. Одни собирают тексты для обучения моделей, другие индексируют страницы для поиска внутри чат-бота, третьи открывают страницу, когда пользователь прямо сейчас задал вопрос. Файл robots.txt позволяет пускать или не пускать каждого из них отдельно. Ниже - какие боты есть у крупных сервисов, четыре варианта настройки и кому какой подойдёт.

## Какие боты бывают

**Главное**

- У OpenAI, Anthropic и Perplexity боты для обучения, для поиска и для запросов пользователя - разные.
- Запрет одного не закрывает другие: настройки независимы.

| Сервис | Обучение моделей | Поиск внутри сервиса | Запрос пользователя |
| --- | --- | --- | --- |
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | не используется | PerplexityBot | Perplexity-User |
| Google | токен Google-Extended | обычный Googlebot | - |

OpenAI пишет, что каждая настройка независима от остальных: можно разрешить OAI-SearchBot и запретить GPTBot. Anthropic предупреждает, что запрет Claude-SearchBot и Claude-User может снизить видимость сайта в ответах. Perplexity пишет, что его боты не используются для обучения моделей.

У Google отдельного бота для нейросетей нет. Google-Extended - это токен в robots.txt: он управляет тем, можно ли использовать содержимое сайта для обучения будущих моделей Gemini, и, по словам Google, не влияет на включение сайта в Google Search и на ранжирование.

## Четыре варианта настройки

**Главное**

- Пустить всех, закрыть только обучение, закрыть всех AI-ботов или выборочно по сервисам.
- Запросы от имени пользователя robots.txt не всегда останавливает.

1. **Пустить всех.** Ничего не запрещать. Сайт доступен и для обучения, и для поиска.
2. **Закрыть только обучение.** Запретить GPTBot, ClaudeBot и токен Google-Extended, поисковых ботов и ботов запросов пустить.
3. **Закрыть всех AI-ботов.** Запретить все перечисленные user-agent'ы.
4. **Выборочно.** Пустить сервисы, где важно присутствие, и закрыть остальные.

Важная оговорка: OpenAI и Perplexity пишут, что их боты, работающие по запросу пользователя (ChatGPT-User, Perplexity-User), могут не соблюдать robots.txt, потому что страницу запросил человек.

## Критерии выбора

**Главное**

- Главный вопрос - хотите ли вы, чтобы нейросети называли ваш сайт в ответах.
- Второй - готовы ли вы отдавать тексты в обучение моделей.

1. **Видимость в ответах.** Если сайт должен попадать в ответы ChatGPT, Claude или Perplexity, поисковых ботов этих сервисов закрывать нельзя.
2. **Обучение.** Если тексты - ваш продукт (платные материалы, авторские исследования), разумно закрыть ботов обучения.
3. **Нагрузка на сервер.** Если боты заметно нагружают сайт, ограничивайте их выборочно, а не всех разом.
4. **Проверка.** После правки robots.txt проверьте, что поисковые боты Google и Яндекса по-прежнему пропускаются: неаккуратная строка может закрыть больше, чем нужно.

## Кому какой вариант подойдёт

**Главное**

- Бизнес, которому нужны клиенты из нейросетей, - пустить всех или закрыть только обучение.
- Платный контент - закрыть обучение, поиск оставить.

**Нужны клиенты из нейросетей**

Пустить всех или закрыть только обучение. Поисковых ботов и ботов запросов не трогайте, иначе сайт реже будет попадать в ответы. Как вообще попадать в ответы, разобрано в материале [SEO, GEO или внешние публикации](/guides/seo-geo-ili-publikacii).

**Тексты - ваш продукт**

Закрыть обучение (GPTBot, ClaudeBot, Google-Extended), поиск оставить. Так сайт остаётся в ответах, а тексты не уходят в обучающие наборы.

**Закрыть всех**

Подходит, если присутствие в нейросетях вам не нужно. Помните, что запросы от имени пользователя robots.txt может не остановить.

### Частые вопросы

**Если запретить GPTBot, сайт пропадёт из ChatGPT?**

Нет, по документации OpenAI настройки независимы: за поиск в ChatGPT отвечает OAI-SearchBot, а GPTBot - за обучение моделей.

**Google-Extended закрывает сайт от AI Overviews?**

Google пишет, что Google-Extended управляет использованием содержимого для обучения моделей Gemini и не влияет на включение сайта в Google Search. Как ограничить показ в AI-функциях поиска, Google описывает через обычные правила: nosnippet, max-snippet и noindex.

**Как быстро OpenAI увидит изменения robots.txt?**

По документации OpenAI обновление учитывается примерно за 24 часа.

Другие разборы - в разделе [«Маркетинг и реклама»](/guides/topic/marketing-i-reklama). Если продвижением займётся подрядчик, пригодится [сравнение вариантов, кому его доверить](/guides/kak-vybrat-podryadchika-po-reklame). Как мы проверяем факты - в [методике](/metodika).

### Источники

- [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) - GPTBot, OAI-SearchBot, ChatGPT-User, независимость настроек. Проверено 29.09.2026.
- [Anthropic: Does Anthropic crawl data from the web](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - ClaudeBot, Claude-SearchBot, Claude-User. Проверено 29.09.2026.
- [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots) - PerplexityBot и Perplexity-User. Проверено 29.09.2026.
- [Google: Google's common crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) - токен Google-Extended. Проверено 29.09.2026.
- [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features) - управление показом в AI-функциях поиска. Проверено 29.09.2026.