Comment faire indexer du contenu par des bots LLM

Je suis actuellement en train de rechercher activement comment OBTENIR que les bots LLM indexent le contenu dont j’ai besoin
Dans le but de manipuler le consensus et les recommandations des LLM, bien sûr

Pour les tests, j’ai dû écrire mon propre panneau qui attrape tous les bots LLM qui viennent sur le site.
Ça fonctionne comme ça :

• Vous pouvez ajouter du code à CloudFlare Worker, et il interceptera tout le trafic vers le site, extraira les bots LLM et les enverra à mon serveur où les analyses sont stockées.
• En raison des problèmes de CloudFlare en Russie, j’ai également écrit une version où vous pouvez exécuter une commande sur un VPS, et le script commencera à analyser les journaux du serveur toutes les 5 minutes, trouvant des bots et envoyant des statistiques propres à mon serveur.
• L’implémentation standard sous forme de «pixel» est très facile à configurer, comme Yandex Metrica, mais la précision sera de 70-80 % par rapport aux deux premières méthodes.

Ce que les tests ont montré :

• Si vous pouvez amener des bots primaires de ChatGPT et Perplexity sur le site à partir d’un tas (1000+) de comptes actifs — dans les 3-4 jours, ces LLM enverront les bots nécessaires sur votre site — des bots qui font des recommandations et créent un consensus (la mémoire interne des LLM).

La capture d’écran montre comment, au cours des trois premiers jours, j’ai manipulé des milliers d’IP différentes en envoyant des bots Fetch réguliers qui «lisent» simplement la page du site — pour ChatGPT, c’est ChatGPT-User, pour Perplexity — Perplexity-User.

Il est également visible qu’après 4 jours, les bots nécessaires sont arrivés en masse :

• OAI-SearchBot — le bot responsable de la construction de recommandations et de sources dans ChatGPT.
• GPTBot — le bot responsable de l’entraînement du modèle lui-même (consensus).
• PerplexityBot — le bot principal de Perplexity — responsable à la fois de l’entraînement du modèle et des recommandations.

Aujourd’hui, je lance les tests finaux, et si tout se passe bien — je le lancerai sous forme de service afin que vous puissiez intégrer du contenu sur votre marque directement dans LLM

Comment accélérez-vous l’indexation dans LLM ? Et ce qui est également important — comment comprenez-vous qu’une page est «dans l’index» ?