¿Por qué tu asistente de presupuestos con IA comete cada vez más errores? La clave está en el feedback

En los últimos dos meses, al visitar clientes, varios dueños de imprentas pequeñas y medianas me han preguntado lo mismo. El asistente de presupuestos por IA y el chatbot para LINE que instalaron el año pasado parecieron increíbles al principio. ¿Por qué ahora sienten que no avanzan y a veces cometen fallos cada vez más absurdos?

Este fenómeno se detalla muy bien en un artículo reciente titulado «Scaling Laws for Agent Harnesses via Effective Feedback Compute», escrito por Xuanliang Zhang y otros autores. Yo leí el resumen en chino preparado por Wisely Chen

El estudio cuantifica algo que parece ir en contra del sentido común. Uno cree que al darle más capacidad de cómputo, añadir herramientas o ejecutar el proceso más veces la IA mejorará. Pero no es así

El artículo explica la tasa de éxito de las tareas usando raw tokens y tool calls. El coeficiente de correlación R² es de solo:

・0.33 a

・0.42

Traducido al lenguaje del taller: activar el registro detallado de las conversaciones de atención al cliente de la IA, recalcular los presupuestos tres veces en lugar de una o conectar dos bases de datos más son acciones con las que parece que haces mucho, pero solo justifican entre el 30% y el 40% del resultado. El 60% restante no depende de los recursos que consumas

Es como enseñar a un aprendiz. Si el oficial le hace imprimir doscientas hojas de prueba al día pero nunca le corrige los fallos ni le explica por qué el registro está desajustado, el aprendiz seguirá en el mismo nivel aunque imprima diez mil copias. No será mejor impresor, solo estará más cansado

El concepto clave del artículo se llama Effective Feedback Compute, o EFC. Significa que no todas las interacciones cuentan. Solo el feedback efectivo hace que la IA aprenda de verdad

Define que el feedback efectivo debe cumplir cuatro condiciones. Vamos a verlas aplicadas al sector de la impresión:

・Informative (debe aportar datos): El feedback tiene que ofrecer información nueva. Si el cliente se queja de que el presupuesto es caro pero no aclara si es por el papel o por los acabados, ese comentario no sirve

・Valid (debe ser correcto): El feedback debe ser fiable, no ruido ni conjeturas. Si el comercial apunta a la ligera que a este cliente no le importa el precio pero resulta que es al revés, introducir ese dato incorrecto en el sistema es peor que no meter nada

・Non-redundant (no debe ser repetitivo): No hay que repetir lo que ya se sabe. Guardar cien veces que el cliente quiere papel estucado de 100 gsm no aporta nada nuevo

・Retained (debe aplicarse): Esta condición es la más dura: ¿se usó de verdad el feedback en la siguiente decisión? Si el comercial comparte una conclusión acertada en el grupo de chat pero nadie la integra en la lógica de presupuestos, es como si no hubiera dicho nada

El dato más relevante es este. En un experimento del estudio, manteniendo idéntico el presupuesto de computación y mejorando solo la calidad del feedback, la tasa de éxito subió del 27% al 90%

Sin gastar un céntimo más, solo logrando que el feedback fuera útil, el éxito se triplicó. Con este cambio, el poder explicativo de R² pasó de:

・0.33 de golpe a

・0.94 a

・0.99

Esto coincide con la práctica deliberada de la que la ciencia del aprendizaje lleva décadas hablando. El feedback debe ser específico, correcto y aplicarse en el siguiente intento. Practicar sin evaluar o evaluar sin corregir no sirve de nada. La IA funciona igual que las personas

Conociendo el principio, la duda es cómo cerrar ese bucle en el flujo de producción. Aquí tienes algunas medidas que puedes aplicar esta misma semana

Primero, crea una tabla de referencia de respuestas correctas. Elige los veinte o treinta productos que más presupuestes: catálogos grapados, libros en rústica, pegatinas o cajas de cartón. Anota las referencias correctas, el tipo de papel, los acabados y el rango de precios adecuado como ground truth. Si el presupuesto de la IA no coincide con esta tabla, tendrás una señal clara para corregirla. Si no, nunca sabrás cuándo se equivoca

Segundo, registra cada fallo de la IA buscando la causa raíz. No pongas solo que se equivocó. Anota detalles como «calculó cartulina de 200 gsm en lugar de 250 gsm» o «se olvidó del coste del barnizado». Esto cumple con la condición Informative y te da margen para actuar

Tercero, vuelve a introducir los casos de error periódicamente. Dedica una hora al mes a revisar los presupuestos incorrectos y los fallos de atención al cliente de la IA para ajustar sus prompts o reglas. Este es el paso Retained, donde se ve si el bucle realmente se cierra. Las conversaciones que se quedan en el aire no sirven. Solo cuenta lo que se organiza y se convierte en nuevas reglas

Cuarto, antes de añadir cualquier función, asegúrate de que cumple la cuarta condición de EFC. Si quieres conectar otra herramienta o activar respuestas automáticas, pregúntate primero si eso cambiará la decisión de la IA la próxima vez. Si no es así, solo estarás gastando dinero y aumentando el mantenimiento

Lo mismo se aplica al diseño. Si usas IA para crear imágenes, corregir bocetos o redactar propuestas, las peticiones de cambio del cliente son tus señales de feedback. Registra por qué el cliente rechazó esa versión para evitarlo la próxima vez. Así mejorará tu tasa de acierto. Si solo guardas los archivos descartados sin analizar los motivos, harás cien versiones y seguirás en el mismo punto

Algunos proveedores promocionan funciones de memoria como «la IA recordará las costumbres de tu empresa». Suena genial, pero el artículo hace una advertencia con la que estoy muy de acuerdo

La estructura de memoria resuelve la cuarta condición (retain), que es la más difícil, pero solo soluciona el almacenamiento. No filtra si las primeras tres condiciones son correctas o si la información está repetida

En otras palabras, si guardas feedback erróneo, repetitivo o con mucho ruido, esos malos recuerdos se usarán una y otra vez. Esto es más dañino que no tener memoria. Convierte un error puntual en un fallo sistemático permanente

Por eso, antes de activar cualquier función de memoria, hay que poner un filtro de entrada. ¿Esta información es útil, fiable y no está repetida? Solo se guarda si cumple los requisitos. En una imprenta, esto significa evitar que las preferencias de los clientes anotadas a la rápida por los comerciales y sin verificar se conviertan de forma automática en verdades del sistema

Hay que ser honestos: este artículo no es una solución milagrosa. Ese rango de:

・0.94 a

・0.99 de límite superior se basa en información perfecta obtenida a posteriori (lo que el estudio llama Oracle-EFC). Un sistema real no funciona así, por lo que es un techo teórico y no un resultado que vayas a ver mañana. Además, evaluar si el feedback altera de verdad las decisiones ya es difícil de por sí. A pesar de estas limitaciones, me convence la idea central

En el futuro, la competencia entre herramientas de IA no dependerá de quién tenga más funciones o de la longitud de los chats, sino de quién logre que cada feedback se aplique. Un buen asistente de IA no debe trabajar más, sino aprender con cada paso, igual que haría un buen maestro

・Dar más capacidad de cómputo y herramientas a la IA solo justifica entre el 30% y el 40% del resultado (R²:

・0.33

・0

・42), y el 60% restante depende de la calidad del feedback

・Si la capacidad de cómputo no cambia y solo se mejora el feedback, la tasa de éxito sube del 27% al 90%. La clave es entrenar bien, no entrenar más

・El feedback efectivo debe ser informativo, correcto, no repetitivo y aplicable. Si falta lo último, no sirve de nada

・La función de memoria de la IA solo soluciona el almacenamiento, no filtra los errores. Sin un filtro de entrada, la memoria errónea es peor que no tenerla

・Revisar e introducir cada mes los fallos de presupuestos y bocetos de la IA es el paso clave para que sea cada vez más precisa

Para las imprentas y estudios de diseño, la verdadera lección no es si deben o no implementar la IA, sino si han diseñado un sistema de revisión tras su instalación. La mayoría se detiene en el primer paso y considera que conectar la herramienta es la meta. Recomiendo empezar con algo sencillo: elegir un proceso frecuente, como presupuestar catálogos o responder dudas sobre pruebas de impresión de pegatinas. Primero, crea una lista patrón con treinta respuestas correctas. Luego, reserva una hora al mes para ajustar las reglas basándote en los fallos de la IA. Una vez que este bucle funcione bien, podrás valorar la función de memoria o ampliar el alcance. Para los proveedores de servicios integrados, esto también sirve para fidelizar al cliente a largo plazo: al diseñarle un buen bucle de feedback, el sistema se adaptará mejor a sus necesidades con el uso, en lugar de acabar descartado a los seis meses por falta de precisión

・Los agentes también necesitan feedback inmediato: Effective Feedback Compute y la práctica deliberada en agentes