Metihan Eshilyurt lançou um site gerado por IA com 60.000 páginas por $10 e começou a monitorar as visitas dos bots.
Os logs mostram o nível atual do crawler OpenAI.
Nas primeiras 12 horas, GPTBot fez mais de 29.000 solicitações.
Googlebot — 11.
Para contexto: isso é cerca de 470 vezes mais agressiva a intensidade de rastreamento em um domínio novo sem backlinks, sem sinais sociais e sem envio ao console.
GPTBot encontrou o site através do sitemap XML e simplesmente começou a consumir tudo a uma taxa de cerca de 1 solicitação por segundo.
Os dados revelam como é a infraestrutura inicial antes da implementação de mecanismos de otimização.
O Google passou 25 anos resolvendo o problema da distribuição do orçamento de rastreamento — entender quais páginas merecem atenção, com que frequência revisitá-las e como fazer tudo isso sem DDoS desnecessários aos servidores.
Para eles, essa é uma questão há muito resolvida.
OpenAI ainda não tem isso.
O comportamento do crawler que Metihan observou é o resultado de ter poder computacional e ambição, mas ainda não ter construído a camada de eficiência que vem do trabalho na escala do Google por décadas.
Isso se assemelha aos primeiros sistemas de leilão publicitário, onde os licitantes de primeira geração simplesmente inundavam o problema com recursos, e a complexidade veio mais tarde quando a economia forçou mudanças.
GPTBot neste momento é equivalente a um licitante com um orçamento ilimitado e sem limite de lances; eficaz em alcance, mas terrível em otimização.
O ponto prático principal: se você não bloqueou explicitamente GPTBot em robots.txt, ele rastreia seu site da mesma forma.
A maioria dos proprietários de sites nem sequer está ciente disso porque a análise de clientes ignora tudo isso.
Implante o rastreamento do lado do servidor com análise de agente de usuário para simplesmente ver o que está acontecendo.
Um estudo recente mostrou que a implementação da IA aumenta o tempo que os funcionários passam em várias tarefas, mas também leva ao esgotamento e a erros. Saiba mais sobre o impacto da IA na produtividade.
Descubra dez poderosos exploits de SEO que ajudarão você a melhorar o tráfego e as posições nos motores de busca. Não perca as oportunidades, aja rapidamente!
O artigo explora o chunking atômico de conteúdo e seu impacto na busca vetorial, incluindo experimentos e arquiteturas de LLM que confirmam a eficácia dessa abordagem.
O artigo discute a importância de uma hierarquia rigorosa de subpastas para SEO, enfatizando como isso ajuda a gerenciar riscos algorítmicos e melhora a indexação das páginas.
Explore o processo de otimização de imagens em várias camadas para negócios locais, que inclui a criação de uma imagem base, a sobreposição de informações-chave e a otimização de metadados.
AffGate.com é uma plataforma de análise independente para iGaming, SEO e marketing digital.
Coletamos dados de fontes oficiais, estruturamos informações sobre mercados, empresas e tecnologias e tornamos o setor mais transparente e compreensível para os profissionais.
O AffGate.com não é um cassino on-line e não oferece acesso a jogos de azar. Todas as informações estão disponíveis apenas para fins educacionais e analíticos.
© 2024-2026 AffGate.com.
