Клоака и Keitaro: фильтр «Бот», списки ботов и модуль KLO

Keitaro для многих медиабайеров это и трекер, и первая клоака: в потоках кампании есть фильтр «Бот», а в настройках можно загрузить свои списки IP и User-Agent. Вопрос, которым задаются почти все: хватит ли этого, или нужен внешний сервис. Ответ есть в документации самого Keitaro, и мы разберём его по пунктам, а затем покажем, как KLO встраивается в потоки модулем, чтобы решение принималось внутри трекера.

Что умеет фильтр «Бот» в Keitaro

В документации Keitaro фильтр «Бот» описан коротко: это фильтр по базе ботов трекера, база общенаправленная и не специализируется на отдельных источниках, в ней собраны краулеры, парсеры и данные о поисковых ботах. Режим «Да» пропускает на поток ботовые клики, режим «Нет» пропускает клики, не определённые как боты.

Фраза «не специализируется на отдельных источниках» это и есть ответ. База знает поисковых роботов и парсеры, но не заточена под то, как проверяет рекламу Meta, Google Ads или TikTok: подсети AdsBot, краулеры meta-externalads, сети ByteDance, headless-проверки без подписи. Для первичного отсева очевидных краулеров фильтра «Бот» достаточно, для работы на серых вертикалях под конкретную рекламную сеть его дополняют внешним сервисом.

Списки ботов: что можно добавить самому

Раздел «Списки ботов» в настройках трекера позволяет добавить свои значения в базу: одиночные IP или CIDR-подсети и сигнатуры User-Agent. Там же переключатели: включить дополнительный внутренний список UA ботов, включить дополнительный список IP ботов, считать пустой User-Agent признаком бота, включить список спам-ботов и пропускать ботовый трафик при обновлении расходов.

Все три переключателя про дополнительные списки и пустой User-Agent стоит включить сразу. Пустой UA у реального пользователя не бывает. Но у ручных списков есть предел: подсети рекламных сетей меняются, Google, например, датирует свои файлы диапазонов и обновляет их, а вручную актуализировать сотни префиксов невозможно. Плюс списки ничего не знают о метках клика, гео кампании и поведении.

Остальные фильтры потока, которые работают на клоаку

Кроме «Бота» в потоках Keitaro есть фильтры, которые закрывают часть признаков сами по себе.

Собрать из них связку можно, и для белых вертикалей этого хватает. Не хватает двух вещей: актуальной базы сетей и сигнатур под конкретные рекламные системы и поведенческого слоя. Именно их добавляет внешний фильтр.

Как устроены свои фильтры в Keitaro

Keitaro позволяет разработчикам добавлять фильтры. По документации, дополнительный фильтр это PHP-класс в каталоге /var/www/keitaro/var/filters/, наследующий AbstractFilter и реализующий три метода: getModes возвращает режимы фильтра (принять или отклонить), getTemplate отдаёт HTML настроек с ng-model="filter.payload", а isPass получает StreamFilter и RawClick и отвечает, прошёл клик фильтр или нет.

Модуль KLO для Keitaro устроен именно так: файл BoostRouter.php кладётся в каталог фильтров, в потоке появляется фильтр BoostRouter, а внутри isPass модуль запрашивает решение у KLO по данным клика (IP, User-Agent, заголовки, параметры) и возвращает его потоку. То есть клоака становится обычным фильтром потока, а не отдельной прослойкой перед трекером.

Схема потоков с модулем KLO

1. Скачайте модуль. В кабинете KLO выберите интеграцию Keitaro: файл BoostRouter.php уже содержит ваш секретный ключ.
2. Положите файл в каталог фильтров Keitaro и убедитесь, что в редакторе потока появился фильтр BoostRouter.
3. Поток «Оффер». Фильтр BoostRouter в режиме «пропускать прошедших проверку» плюс ваши фильтры по гео, устройствам и параметру метки. Действие: локальный лендинг или предзагрузка, чтобы адрес не менялся.
4. Поток «White» ниже по списку без фильтров, как поток по умолчанию: всё, что не прошло, попадает сюда.
5. Прогрев. На первые клики новой кампании поставьте лимит кликов или расписание, при котором поток «Оффер» ещё не активен.
6. Проверьте. Симуляция трафика в Keitaro и заходы с разных устройств, порядок в гайде «Как проверить клоаку».

Про действия потока. Локальный лендинг и предзагрузка отдают страницу с адреса трекера без смены URL. Действие «редирект» меняет адрес, и робот проверки видит два URL. Под VK Рекламу редирект прямо назван в правилах как признак подмены, под остальные сети он просто лишний след.

Keitaro за Cloudflare: реальный IP

Если домен трекера проксируется через Cloudflare, Keitaro по умолчанию может видеть IP узла Cloudflare вместо IP посетителя. Тогда и фильтр «Бот», и внешний модуль будут оценивать не посетителя, а Cloudflare. Проверьте, что трекер восстанавливает реальный адрес из заголовка CF-Connecting-IP: в отчёте по кликам IP должны быть из сетей операторов, а не из диапазонов Cloudflare. Ту же проблему мы разбирали в шаблоне интеграции KLO для Keitaro, с версии 1.3.0 реальный IP передаётся корректно.

Частые вопросы

Можно ли сделать клоаку только средствами Keitaro

Частично. Фильтр «Бот» и списки отсекают очевидных краулеров, фильтры по гео, устройствам, параметрам и рефереру закрывают ещё часть признаков. По документации база фильтра общая и не специализирована по источникам, поэтому под Meta, Google или TikTok на серых вертикалях трекер дополняют внешним фильтром.

Как подключить KLO к Keitaro

Скачать модуль BoostRouter.php из кабинета, положить в каталог фильтров Keitaro, добавить фильтр BoostRouter в поток с оффером и сделать поток с white потоком по умолчанию.

Нужно ли менять лендинги при переходе на модуль

Нет. Лендинги остаются локальными или на предзагрузке, меняется только набор фильтров в потоках.

Что делать, если Keitaro видит IP Cloudflare

Включить восстановление реального IP из заголовка CF-Connecting-IP в трекере и проверить в отчёте по кликам, что адреса посетителей относятся к сетям операторов, а не к Cloudflare.

Какие настройки в «Списках ботов» включить сразу

Дополнительный список User-Agent ботов, дополнительный список IP ботов и «Пустой User Agent считать признаком бота». Список спам-ботов тоже стоит включить, если вы не работаете с трафиком, где он даёт ложные срабатывания.