Как ИИ-краулер GPTBot обошел сайт на 60 000 страниц

Метехан Ешильюрт развернул сгенерированный ИИ сайт на 60 000 страниц за $10 и стал мониторить визиты ботов.

Логи показывают, на каком уровне реально находится краулер OpenAI прямо сейчас.

За первые 12 часов GPTBot сделал 29 000+ запросов.

Гуглобот — 11.

Для контекста: это примерно в 470 раз более жесткая интенсивность краулинга на свежереге с нулем бэклинков, нулем социалок и без добавления в консоль.

GPTBot нашел сайт через XML-сайтмап и тупо начал выжирать все со скоростью около 1 запроса в секунду.

Данные раскрывают, как выглядит ранняя инфраструктура до внедрения механизмов оптимизации.

Гугл потратил 25 лет на решение проблемы распределения краулингового бюджета — понимание того, какие страницы заслуживают внимания, как часто их переобходить, и как делать все это без лишнего ддоса серверов.

Для них это давно закрытый вопрос.

У OpenAI этого еще нет.

Поведение краулера, которое зафиксировал Метехан — это результат того, что у тебя есть вычислительные мощности и амбиции, но тебе еще не приходилось строить слой эффективности, который появляется от работы на масштабах Гугла десятилетиями.

Это напоминает ранние системы рекламных аукционов, где биддеры первого поколения просто заливали проблему ресурсами, а усложнение приходило позже, когда экономика форсировала изменения.

GPTBot прямо сейчас — это эквивалент биддера с безлимитным бюджетом и без капа ставок; эффективен в охвате, но ужасен в оптимизации.

Главный практический поинт: если ты явно не заблочил GPTBot в robots.txt, он обходит твой сайт точно так же.

Большинство владельцев сайтов об этом даже не подозревают, потому что клиентская аналитика все это упускает.

Разверни серверный трекинг с парсингом user agent, чтобы банально увидеть, что происходит.

https://metehan.ai/blog/i-built-a-60-000-page-ai-website-for-10-gptbot-crawled-it-30-000-times-in-12-hours/