Автоматизируем охоту на быстробота

Автоматизируем охоту на быстробота

В прошлых постах мы разобрали, почему стандартные методы проверки индекса для новорегов часто сбоят, и выяснили, что мониторинг серверных логов — единственный объективный способ понять, залетел ли сайт в базу. Там же мы вывели формулу победного «флеш-рояля» из 5 этапов: от прозвона Webmaster’ом до финального забора favicon.ico.

Но сидеть и постоянно обновлять логи сервера руками — занятие утомительное. Поэтому я навайбкодил готовый PHP-скрипт Yandex Bot Tracker v1.0, который сделает всю работу за вас.

Что под капотом и что он умеет:

Полный контроль этапов: Скрипт автоматически распознает все 5 стадий индексации быстроботом.
Уведомления в Telegram: Прилетел бот? Вы сразу получаете сообщение в телегу с указанием URL, IP и текущего этапа. А когда собирается заветный «флеш-рояль» — приходит отдельный победный алерт.
Визуальный дашборд: Встроенная админка (защищенная секретным ключом), где в виде удобных карточек выводится прогресс-бар по всей вашей пачке доменов.

Универсальность (3 режима работы):

• Middleware: Просто подключаете скрипт в ваш index.php, и он ловит ботов на лету.
• CLI-парсер: Можно скормить скрипту уже существующий access.log через консоль, и он вытащит всю историю визитов Яндекса.
• Веб-дашборд: Выступает в роли независимой панели статистики.

Как настроить

1. Открываете скачанный файл tracker.php и в блоке КОНФИГ заполняете три строчки: TG_TOKEN (от вашего бота), TG_CHAT_ID и SECRET_KEY (придумываете пароль для доступа к дашборду).
2. Закидываете tracker.php на сервер с вашими сайтами.
3. В самое начало index.php вашего лендинга (или системы клоакинга/роутинга) добавляете одну строку:
   require_once '/путь/до/tracker.php';
4. Готово! Скрипт работает незаметно для пользователей. Переходите по адресу вашсайт.ру/tracker.php?key=ВАШ_КЛЮЧ и любуетесь красивой статистикой.

Как только в телегу упадет уведомление «FLUSH ROYALE», можете смело идти и пробивать выдачу недокументированными хаками вроде `erj:` или цитатным поиском. Но учитывайте: страница может появиться в индексе спустя 1–10 минут, если на стороне Яндекса в данный момент нет очереди на индексацию.

Сам файл со скриптом прикрепил ниже. Забирайте в работу, тестируйте на своих запусках. Сразу оговорюсь, что это пока первая, сырая версия скрипта — если увижу на него спрос и найдутся баги, то обязательно всё доработаю и выкачу апдейт.