Degradação da resposta da rede neural quando o número de regras é sobrecarregado

Degradação da resposta da rede neural quando o número de regras a serem executadas está sobrecarregado

Para começar, vou detalhar brevemente esse estudo https://arxiv.org/html/2507.11538v1.

A figura mostra como a resposta das redes neurais se degrada à medida que o número de requisitos no Promt aumenta. Os requisitos são simples: escrever um documento comercial e escrever n palavras específicas nele (a tarefa de escrever palavras-chave). A linha vertical é a porcentagem de precisão e a linha horizontal é o número de regras.

O estudo é bastante simples e parece plausível, mas suas conclusões dependem dos detalhes da metodologia.

Mas você pode notar que há modelos antigos. E você pode se perguntar: «Para que diabos precisamos desse material antigo? Já existe o Gemini 3: vou colocar 300 regras inteligentes nele e serei um instrutor de LLM».»

Não leve isso para o lado pessoal. Não se trata de você. Não é? É...

Mas, infelizmente, o ChatGPT-5.2 e o Gemini 3 pro não nos aproximam muito da AGI e, portanto, também não farão um monte de regras heterogêneas.

Exemplo ilustrativo

Eu estava com muita preguiça de fazer um experimento rigoroso, então fiz alguns testes para mim mesmo apenas para esclarecer e confirmar minhas palavras, e mostrarei um exemplo aqui. Em especial, isso é bastante esperado: quanto mais complexo for o pedido e quanto mais requisitos ele tiver, mais rapidamente a conformidade se degradará.

A essência do teste: Criei 77 regras triviais para gerar texto, por exemplo: sempre escreva parágrafos de 3 frases; use exatamente 6 h2, 3 h3 sob cada h2 e assim por diante.

O Gemini deve criar o texto de acordo com essas regras, e a verificação passa pelo ChatGPT 5.2 Pro para verificar melhor tudo isso (tenho muita preguiça de verificar eu mesmo, por isso usamos um modelo mais avançado para verificar).

Dois exemplos:

• Eu lhe dou a tarefa de escrever um texto, cumprindo apenas essas 77 regras: 16 infrações - exemplos de infrações https://skr.sh/sZ4xKCg1XDM
• Apresento as mesmas 77 regras, mas agora também peço que você faça uma análise SERP antes de escrever: 20 violações - https://skr.sh/sZ4af6q2QAO

E assim por diante. Quanto mais você carregar o LLM com regras e tarefas adicionais, pior será seu desempenho, pois há recursos limitados para pensar e manter os requisitos. E o aumento das violações pode estar relacionado não apenas aos «recursos», mas também aos conflitos de requisitos e à indefinição de prioridades.

A que leva o fato de não entender isso?

Tudo isso leva a promessas mirabolantes, em que um número infinito de regras é incluído, o que parece legal e «técnico», mas, na verdade, muitas vezes você não verificará o cumprimento delas, e algumas das regras provavelmente não serão seguidas.

O que fazer

Segmente as tarefas e faça promessas para cada segmento e não tente fazer promessas para o nível de AGI «Você é um especialista em SEO. Traga meu site para o TOPO, faça uma auditoria abrangente, colete semântica e, no caminho, promova meu cartão no Yandex Business e, quando promover o cartão no Yandex Business, seja um especialista em SEO local e, em seguida, torne-se um cliente que avalia o cartão; se a avaliação do trabalho não ultrapassar o limite de 4 pontos em 5, refaça, bem, finalmente, ligue o modo de agente, vá para o site de um concorrente e deixe uma avaliação ruim lá.».