Degradación de la respuesta de la red neuronal cuando se sobrecarga el número de reglas

Degradación de la respuesta de la red neuronal cuando se sobrecarga el número de reglas a ejecutar

Para empezar, desglosaré brevemente este estudio https://arxiv.org/html/2507.11538v1.

La figura muestra cómo las redes neuronales degradan su respuesta a medida que aumenta el número de requisitos en Promt. Los requisitos son sencillos: escribir un documento comercial y escribir n palabras determinadas en él (la tarea de escribir palabras clave). La línea vertical es el porcentaje de precisión, la línea horizontal es el número de reglas.

El estudio es bastante sencillo y parece plausible, pero sus conclusiones dependen de los detalles de la metodología.

Pero te darás cuenta de que hay modelos antiguos. Y puede que te preguntes: «¿Para qué coño necesitamos este material antiguo? Ya existe Géminis 3: le meteré 300 reglas ingeniosas y seré un formador LLM».»

No te lo tomes como algo personal. No se trata de ti. ¿No lo es? Es...

Pero desgraciadamente ChatGPT-5.2 y Gemini 3 pro no nos acercan mucho a AGI y por lo tanto tampoco harán una mierda de reglas heterogéneas.

Ejemplo ilustrativo

Me daba pereza hacer un experimento riguroso, así que hice unas cuantas pruebas por mi cuenta sólo para aclarar y confirmar mis palabras, y mostraré un ejemplo aquí. Sobre todo es bastante esperado: cuanto más complejo es el promt y más requisitos tiene, más rápido se degrada el cumplimiento.

La esencia de la prueba: Hice 77 reglas triviales para generar texto, por ejemplo: escribir siempre párrafos de 3 frases; usar exactamente 6 h2, 3 h3 debajo de cada h2 y así sucesivamente.

Gemini debe hacer el texto de acuerdo con estas reglas, y la comprobación pasa por ChatGPT 5.2 Pro para comprobarlo todo mejor (soy demasiado vago para comprobarlo yo mismo, así que tomamos un modelo más rico para comprobarlo).

Dos ejemplos:

• Te doy la tarea de escribir un texto, cumpliendo sólo estas 77 reglas: 16 infracciones - ejemplos de infracciones https://skr.sh/sZ4xKCg1XDM
• Doy las mismas 77 reglas, pero ahora también te pido que hagas un análisis SERP antes de escribir: 20 violaciones - https://skr.sh/sZ4af6q2QAO

Y así sucesivamente. Cuanto más se cargue el LLM con reglas y tareas adicionales, peor funcionará, ya que los recursos para pensar y mantener los requisitos son limitados. Y el aumento de las infracciones puede estar relacionado no sólo con los «recursos», sino también con los conflictos de requisitos y la confusión de prioridades.

¿A qué conduce no entenderlo?

Todo esto lleva a promesas milagrosas, en las que se atiborran infinidad de normas, que suenan bien y «técnicas», pero que en realidad a menudo no se comprueba su cumplimiento, y lo más probable es que algunas de las normas no se cumplan.

Qué hacer

Segmentar las tareas y hacer promts para cada segmento y no tratar de hacer promts para el nivel AGI. «Usted es un experto en SEO. Trae mi sitio a la parte superior, hacer una auditoría exhaustiva, recoger semántica, y en el camino para promover mi tarjeta de Yandex Business, y cuando se promueve la tarjeta en Yandex Business ser un experto en SEO local, y luego convertirse en un cliente que evalúa la tarjeta, si la evaluación de la obra no pasa el umbral de 4 puntos sobre 5, a continuación, rehacer, bueno, por fin encender el modo de agente, vaya al sitio de un competidor y dejar una mala crítica allí.».