Как сообщить поисковикам о новой странице: карта сайта, IndexNow, переобход и счётчик Метрики

Новая страница на сайте не попадает в поиск сама собой: сначала её должен найти и обойти робот поисковой системы. Ускорить это можно, но способы работают по-разному и не одинаково для Яндекса и Google. Ниже - критерии выбора, четыре способа сообщить поисковикам о новой странице и вывод, какой способ подойдёт маленькому сайту, блогу, магазину и сайту с посещаемостью.

Критерии выбора

1. Сколько страниц. Ручной переобход рассчитан на несколько адресов: у Яндекса на него ежедневный лимит, у Google - квота. Для сотен и тысяч страниц нужны карта сайта или IndexNow.
2. Как часто меняется сайт. Если страницы появляются каждый день, способ стоит автоматизировать, а не отправлять адреса руками.
3. Какие поисковики важны. IndexNow поддерживают Яндекс, Bing и ещё несколько систем, а Google в списке участников протокола нет. Карту сайта принимают и Яндекс, и Google.
4. Есть ли доступ к сайту. Для IndexNow нужен ключ-файл на сайте и отправка запросов - вручную, кодом или плагином CMS. Для ручного переобхода нужен доступ к Яндекс Вебмастеру или Search Console: в Google запросить индексирование может только владелец ресурса или пользователь с полным доступом.
5. Ожидания. Google пишет, что обход занимает от нескольких дней до нескольких недель, а запрос не гарантирует ни быстрого, ни вообще какого-либо попадания в выдачу. Яндекс тоже предупреждает, что IndexNow не гарантирует индексирования переданных страниц.

Четыре способа

У каждого способа свои сильные и слабые стороны.

• Карта сайта. Плюс: один файл сообщает обо всех страницах сразу, и его понимают и Яндекс, и Google. Указать файл можно директивой Sitemap в robots.txt или загрузить в Яндекс Вебмастер и Search Console. Минус: Google называет карту лишь подсказкой - она не гарантирует, что файл скачают и используют. Яндекс ставит добавленный файл в очередь и загружает его в течение двух недель.
• IndexNow. Плюс: сообщает о новой, изменённой или удалённой странице сразу, без ожидания следующего обхода, и одним запросом можно передать до 10 000 адресов. Яндекс отмечает, что так вы сообщаете об изменениях не только ему, но и другим поисковым системам, например Bing. Минус: нужна настройка - ключ длиной от 8 до 128 символов, файл с ним на сайте и отправка запросов. Яндекс просит сообщать только о новых, изменённых или удалённых страницах, а не о всех страницах сайта подряд.
• Ручной переобход. Плюс: быстро и без настройки - вставить адрес в Вебмастере или в Search Console. Яндекс пишет, что робот посетит адрес в приоритетном порядке при следующем обращении к сайту: это занимает не более трёх дней, обычно меньше. Минус: количество адресов ограничено лимитом, а статус «Заявка обработана» в Яндексе не значит, что страница проиндексирована - данные обновятся в течение двух недель.
• Обход по счётчику Метрики. Плюс: счётчик сам подсказывает Яндексу, какие страницы часто посещают, и они получают приоритет при индексировании. Минус: работает только в Яндексе, и, по словам Яндекса, больше подходит развитым сайтам, у которых уже есть трафик. Яндекс советует дополнительно использовать и карту сайта.

Отдельно о Google Indexing API: по документации Google он подходит только для страниц с вакансиями (разметка JobPosting) и прямыми трансляциями (BroadcastEvent в VideoObject), а не для обычных статей и товаров.

Кому какой способ подойдёт

Частые ошибки

• Ждать страницу в поиске сразу после отправки. Ответ 200 от IndexNow значит только, что адреса получены, а статус переобхода в Яндексе - что робот посетил страницу.
• Отправлять один и тот же адрес снова и снова. Google прямо пишет, что повторный запрос не ускорит обход, а у ручного переобхода есть лимит.
• Передавать через IndexNow все страницы сайта. Яндекс просит сообщать только о новых, изменённых и удалённых страницах, а для всех адресов использовать карту сайта.
• Закрыть страницу от индексирования и ждать её в поиске. Яндекс предупреждает: если страница закрыта от индексирования, в поиск она не попадёт, даже если робот её посетил.

Все разборы о продвижении - в разделе «Маркетинг и реклама». Что ещё помогает страницам в поиске, разобрано в материале о микроразметке Schema.org, а как пускать на сайт ботов нейросетей - в разборе о robots.txt. Как мы составляем материалы, описано в методике.

Как мы составляем материалы →