Критика инструментов отслеживания упоминаний в ответах ИИ

Педро Диас хорош:

Отслеживание промптов. Дашборды видимости в LLM. Показатели доли упоминаний в ответах. Менее чем за 18 месяцев появилась целая категория поставщиков, предлагающих вам показатель, который показывает, как часто ваш бренд появляется в ответах, сгенерированных ИИ. Это Search Console для эпохи чат-ботов, и он несет в себе тот же утешительный посыл: если показатель растет, вы в выигрыше. Если он падает, покупайте больше того, что способствует его росту.

Я уже писал об этом раньше, и снова скажу прямо: эти инструменты продают вам чушь с нарисованным на ней карандашом доверительным интервалом. Когда дашборд сообщает, что ваш бренд «появился в 73% релевантных ответов ИИ», на самом деле он измеряет следующее: «мы отправили несколько запросов к API, получили несколько результатов и подсчитали упоминания». Это не ранжирование. Это лотерейный билет.

Инженеры, создавшие эти модели, не могут полностью объяснить, почему появился тот или иной результат. Но, безусловно, SaaS-инструмент, расположенный на вершине горы Даннинга-Крюгера с линией тренда, всё это прекрасно понимает.

Отрасль продолжает покупать, потому что альтернатива — признать, что мы действуем вслепую. Ставить под сомнение данные означает заявлять всем, что «направленные» графики в презентации для клиентов — это шум, замаскированный под ценную информацию. Никто не хочет быть таким человеком. Поэтому поставщики продолжают продавать, дашборды продолжают мелькать, и цифры не обязательно должны коррелировать с доходом. Им достаточно просто достаточно колебаться, чтобы поддерживать подписку.