Como Fazer os Bots LLM Indexarem Conteúdo

Atualmente estou pesquisando ativamente como OBTENHA que os bots LLM indexem o conteúdo que preciso
Com o objetivo de manipular o consenso e as recomendações do LLM, claro

Para os testes, tive que escrever meu próprio painel que captura todos os bots LLM que chegam ao site.
Funciona assim:

• Você pode adicionar código ao CloudFlare Worker, e ele interceptará todo o tráfego para o site, extrairá os bots LLM e os enviará para o meu servidor onde as análises são armazenadas.
• Devido aos problemas do CloudFlare na Rússia, também escrevi uma versão onde você pode executar um comando em um VPS, e o script começará a analisar os logs do servidor a cada 5 minutos, encontrando bots e enviando estatísticas limpas para o meu servidor.
• A implementação padrão na forma de um «pixel» é muito fácil de configurar, como o Yandex Metrica, mas a precisão será de 70-80% em comparação com os dois primeiros métodos.

O que os testes mostraram:

• Se você conseguir trazer bots primários do ChatGPT e Perplexity para o site a partir de um monte (1000+) de contas ativas — em 3-4 dias esses LLM enviarão os bots necessários para o seu site — bots que fazem recomendações e criam consenso (a memória interna do LLM).

A captura de tela mostra como nos primeiros três dias manipulei milhares de IPs diferentes enviando bots Fetch regulares que simplesmente «leem» a página do site — para o ChatGPT, isso é ChatGPT-User, para o Perplexity — Perplexity-User.

Também é visível que após 4 dias os bots necessários chegaram em massa:

• OAI-SearchBot — o bot responsável por construir recomendações e fontes no ChatGPT.
• GPTBot — o bot responsável por treinar o próprio modelo (consenso).
• PerplexityBot — o bot principal do Perplexity — responsável tanto pelo treinamento do modelo quanto pelas recomendações.

Hoje estou lançando os testes finais e, se tudo correr bem — lançarei na forma de um serviço para que você possa inserir conteúdo sobre sua marca diretamente no LLM

Como você acelera a indexação no LLM? E o que também é importante — como você entende que uma página está «no índice»?