Клоака для Яндекс Директа: роботы Яндекса, модерация и настройка фильтра

Клоака для Яндекс Директа отличается от клоаки под Meta или Google одной вещью: у Яндекса очень много роботов с разными задачами, и на рекламный лендинг ходят далеко не одни модераторы. Метрика, Вебмастер, валидатор микроразметки, робот скриншотов, робот РСЯ. Если фильтр знает только «YandexBot», половина проверок пройдёт мимо него. В этом гайде мы разобрали официальный список роботов Яндекса, правила модерации Директа и то, что сам Яндекс называет клоакингом.

Как модерирует Директ

По справке Директа все объявления проходят модерацию, то есть проверку на соответствие требованиям к рекламно-информационным материалам. Текст, ключевые фразы и ссылки модерируются обычно в течение нескольких часов, и чем больше объявлений в кампании, тем дольше. Результат приходит на почту и виден в статусе кампании. Отдельный раздел справки посвящён требованиям к сайту и оформлению объявления: правила для текстов, изображений и страницы перехода.

Что Яндекс считает клоакингом, сформулировано не в правилах Директа, а в справке Вебмастера, в разделе про нарушения безопасности сайта: клоакинг это когда посетителям и поисковым роботам отображается разная информация. Для Директа это означает две вещи. Во-первых, признак нарушения Яндекс ищет всей своей инфраструктурой, а не одними глазами модератора, включая поисковых роботов и Метрику. Во-вторых, наказание может прилететь и на кампанию, и на домен в поиске, если он там есть.

Роботы Яндекса, которые приходят на лендинг

Официальный список роботов Яндекса опубликован в справке Вебмастера. Для рекламного лендинга важны следующие.

Два примечания из справки, которые прямо влияют на фильтр. Первое: некоторые роботы Яндекса скачивают страницы не для индексации и могут не учитывать ограничения robots.txt для произвольных роботов, то есть группу User-agent: *. Закрыть проверку через robots.txt не получится. Второе: подлинность робота Яндекс предлагает проверять по обратному DNS. Имена всех роботов Яндекса заканчиваются на yandex.ru, yandex.net или yandex.com, а прямой запрос по этому имени должен вернуть тот же IP. Так же фильтр отличает настоящего робота от подделки с чужого сервера.

Метрика: особенность Директа, которой нет у других сетей

У Яндекса рекламная сеть и система аналитики принадлежат одной компании. Если на white стоит счётчик Метрики, а на оффере нет, Яндекс видит страницу, на которую ведёт реклама и на которой не происходит ничего, что происходит у реальных посетителей. Если счётчик стоит только на оффере, Яндекс видит поведение на странице, которую его модератор никогда не открывал. Оба варианта выдают связку без единого захода робота.

Правило простое: один и тот же счётчик на white и на оффере, цели настроены одинаково, Вебвизор либо включён везде, либо выключен везде. Робот YandexMetrika при этом должен получать white, как и остальные роботы Яндекса.

Метка yclid и признаки для фильтра

1. yclid. Переходы из Директа несут метку yclid. Заход без неё не из вашей кампании. Требование метки в фильтре отсекает прямые заходы, спай-сервисы и повторные проверки, пришедшие по «голому» адресу.
2. Сети Яндекса. Подсети Яндекса и обратный DNS с окончанием yandex.ru, yandex.net, yandex.com. Сюда попадают все роботы из таблицы, включая Метрику.
3. Гео. Директ чаще всего работает на Россию и СНГ, покупатель приходит от российского оператора или домашнего провайдера. Заход из дата-центра, даже российского, это не покупатель.
4. Устройство и язык. Кампания на мобильных, а запрос с десктопа с английской локалью браузера уходит на white.
5. Поведение. Обход всех страниц домена, повторные заходы с одной подсети, заходы без cookies и без исполнения JavaScript.

Настройка KLO под Директ

Шаг 1. White под требования Директа

Страница перехода в Директе проверяется на соответствие объявлению и на требования к сайту: работающие контакты, отсутствие запрещённых тематик, корректная информация о продавце. Плюс правила о предупреждениях и возрастных ограничениях для отдельных тематик. Белую страницу собирайте под конкретное объявление, а не универсальную «на всё». Чек-лист в статье о белой странице.

Шаг 2. Кампания в кабинете

Источник Яндекс Директ, страны и устройства, требование метки yclid, адреса white и offer, прогрев на первые клики. Для кампаний на Россию имеет смысл добавить правило по языку браузера: покупатель с русской локалью, проверка часто с английской.

Шаг 3. Подключение и Метрика

PHP-лоадер, WordPress, Keitaro, SDK или Cloudflare Worker. После подключения проверьте, что счётчик Метрики одинаково стоит на обеих страницах и что робот YandexMetrika получает white: это видно в статистике KLO по User-Agent.

Шаг 4. Проверка

В Вебмастере есть инструмент «Проверка ответа сервера»: он загружает страницу роботом Яндекса и показывает полученный ответ. Если домен добавлен в Вебмастер, используйте его как официальный способ увидеть страницу глазами робота. Остальные проверки описаны в гайде «Как проверить клоаку».

Ошибки под Директ

• Фильтр знает только YandexBot, а YandexDirect, YandexMetrika и YandexPagechecker идут на оффер.
• Разные счётчики Метрики на white и оффере или счётчик только на одной странице.
• Домен клоаки одновременно продвигается в поиске Яндекса. Один и тот же адрес роботу поиска и роботу Директа лучше отдавать одинаково, иначе к рекламному бану добавится нарушение в Вебмастере.
• Редирект на оффер вместо серверной отдачи: робот Директа видит адрес, которого нет в объявлении.
• Прогрев выключен, и первая проверка после запуска попадает на оффер.

Частые вопросы

Какие роботы Яндекса проверяют рекламный лендинг

Прежде всего YandexDirect/3.0 и YandexDirectDyn/1.0, а также YandexMetrika, YandexAdNet, YandexPagechecker, роботы скриншотов и рендеринга. Полный список опубликован в справке Вебмастера.

Что Яндекс считает клоакингом

По справке Вебмастера, клоакинг это показ посетителям и поисковым роботам разной информации. Это входит в список нарушений безопасности сайта и может повлиять на домен в поиске, а не только на рекламу.

Можно ли закрыть роботов Директа через robots.txt

Нет. Яндекс пишет, что некоторые роботы, скачивающие страницы не для индексации, могут не учитывать ограничения для User-agent: *. Решение должно приниматься на сервере.

Нужна ли Метрика на белой странице

Да, тот же счётчик, что и на оффере, с теми же целями. Разные счётчики или счётчик на одной из страниц выдают связку без захода робота.

Как долго Директ проверяет объявление

По справке Директа, обычно в течение нескольких часов; чем больше объявлений в кампании, тем дольше.