Crítica a las herramientas de seguimiento de menciones en respuestas de IA

Pedro Díaz tiene razón:

Rastreo de prompts. Tableros de visibilidad en LLM. Métricas de participación de menciones en respuestas. En menos de 18 meses, ha surgido toda una categoría de proveedores que ofrecen una métrica que muestra con qué frecuencia aparece su marca en respuestas generadas por IA. Esto es la Consola de Búsqueda para la era de los chatbots, y lleva el mismo mensaje reconfortante: si la métrica está creciendo, usted está ganando. Si está cayendo, compre más de lo que impulsa su crecimiento.

Ya he escrito sobre esto antes, y lo diré de nuevo: estas herramientas le venden tonterías con un intervalo de confianza dibujado a lápiz. Cuando el tablero informa que su marca “apareció en el 73% de las respuestas relevantes de IA”, en realidad está midiendo lo siguiente: “enviamos algunas solicitudes a la API, obtuvimos algunos resultados y contamos las menciones.” Esto no es clasificación. Esto es un boleto de lotería.

Los ingenieros que crearon estos modelos no pueden explicar completamente por qué apareció un resultado particular. Pero, sin duda, la herramienta SaaS situada en la cima de la montaña de Dunning-Kruger con una línea de tendencia entiende todo esto perfectamente.

La industria sigue comprando porque la alternativa es admitir que estamos operando a ciegas. Cuestionar los datos significa decirle a todos que los gráficos “dirigidos” en las presentaciones para clientes son ruido disfrazado de información valiosa. Nadie quiere ser esa persona. Así que los proveedores siguen vendiendo, los tableros siguen parpadeando, y los números no necesariamente tienen que correlacionarse con los ingresos. Solo necesitan fluctuar lo suficiente para mantener la suscripción.