¿Por qué tu asistente de presupuestos con IA se vuelve cada vez más impreciso? La clave está en el feedback

En el último mes o dos, he visitado a clientes y varios propietarios de pequeñas y medianas imprentas me han preguntado lo mismo: el asistente de presupuestos por IA y el chatbot de atención al cliente vía LINE que implementaron el año pasado, que inicialmente parecían impresionantes, ¿por qué no muestran mejoras ahora y, a veces, cometen errores aún más graves?

Este fenómeno se explica detalladamente en un artículo reciente titulado 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, escrito por Xuanliang Zhang y otros autores. He leído la versión resumida en chino de Wisely Chen

Cuantifica directamente algo contraintuitivo: uno asume que "darle más capacidad de cómputo, añadir más herramientas y ejecutar más iteraciones" hará que la IA sea más fuerte, pero en realidad no es así

El artículo utiliza raw tokens y tool calls para explicar la tasa de éxito de las tareas, y el coeficiente de correlación R² es solo de:

・0.33 a

・0.42

Traducido al lenguaje de la imprenta: si detallas al máximo el historial de conversaciones del chatbot de IA, aumentas de una a tres veces el recuento de los cálculos de presupuestos y conectas dos bases de datos adicionales, estas acciones de "hice mucho" solo explican aproximadamente un 30-40% de los resultados; el 60% restante no tiene nada que ver con cuántos recursos quemes

Comparo esto con formar a un aprendiz. Un maestro permite que el aprendiz imprima doscientas hojas de práctica al día, pero una vez impresas, nunca señala los errores ni explica dónde está desalineado el registro de color; ese aprendiz seguirá al mismo nivel después de imprimir diez mil hojas. No se ha vuelto mejor, simplemente está más cansado

El concepto central del artículo se llama Effective Feedback Compute (EFC). Significa que no todas las interacciones cuentan; solo el "feedback efectivo" permite que la IA mejore realmente

Define cuatro condiciones para que el feedback sea efectivo. Las aplicaré una a una al escenario de impresión:

・Informative (Informativo): El feedback aporta nueva información. Si un cliente se queja de que el presupuesto es caro, pero no dice si es por el papel o por el acabado, ese tipo de feedback es inútil

・Valid (Válido): El feedback es creíble, no es ruido ni suposiciones. Si un vendedor anota casualmente "a este cliente no le importa el precio" y resulta que es todo lo contrario, alimentar el sistema con ese feedback erróneo es peor que no poner nada

・Non-redundant (No redundante): No repitas lo que ya se sabe. Si el sistema ha registrado cien veces que "el cliente quiere papel estucado de 100 g", en realidad no hay información nueva

・Retained (Retenido): Esta es la parte más dura. ¿El feedback se utilizó realmente en la siguiente decisión? Si el equipo de ventas discutió el juicio correcto en el grupo, pero nadie lo incorporó en la lógica de presupuestación, es como si no se hubiera dicho nada

Aquí está el dato clave: el artículo realizó un experimento controlado donde, sin cambiar el presupuesto de cómputo, solo mejorando la calidad del feedback, la tasa de éxito de la tarea aumentó del 27% al 90%

Sin gastar un centavo más, solo haciendo que el feedback fuera efectivo, la tasa de éxito se triplicó. Recalculado, el poder explicativo R² pasó de:

・0.33 a un salto repentino de

・0.94 a

・0.99

Esta teoría es, de hecho, la "práctica deliberada" (deliberate practice) que la ciencia del aprendizaje ha predicado durante décadas: el feedback debe ser específico, correcto y debe incorporarse en el siguiente ejercicio. Practicar sin revisar, o revisar sin corregir, equivale a no practicar. La IA sigue las mismas reglas que los humanos

Una vez conocido el principio, el problema se convierte en: ¿cómo conectar realmente este bucle cerrado en el flujo de trabajo de la imprenta? Doy algunas acciones que se pueden empezar esta misma semana

Primero, crea una tabla de "respuestas estándar". Identifica los 20 o 30 productos que más has presupuestado en los últimos seis meses: catálogos grapados, libros con encuadernación rústica, etiquetas, cajas de cartón. Organiza los códigos de materiales correctos, tipos de papel, acabados y rangos de precios razonables en una "verdad fundamental" (ground truth). Solo si tienes algo con qué comparar, podrás saber si la IA está dando presupuestos erróneos y tendrás una "señal de error" para corregirla; de lo contrario, no sabrás si se está desviando

Segundo, registra cada error de la IA, y hazlo hasta la causa raíz. No basta con registrar "presupuesto incorrecto", hay que anotar "calculó cartulina de 250 g como de 200 g" o "olvidó incluir el coste del barnizado". Esto corresponde al punto "Informative"; debe ser lo suficientemente específico como para actuar sobre él

Tercero, reintroduce periódicamente los casos fallidos. Dedica una hora al mes a tomar los casos en los que la IA dio presupuestos incorrectos o respuestas erróneas ese mes y ajusta sus prompts o reglas. Este paso es el "Retained"; el feedback solo "cierra" si se hace esto. Un historial de conversaciones que simplemente se desplaza no cuenta; solo cuenta si se organiza y se mejoran las reglas

Cuarto, cada vez que añadas una función, pásala por la cuarta condición del EFC. Si quieres añadir otra herramienta o abrir otra respuesta automática, pregúntate primero: ¿realmente cambiará el juicio de la IA la próxima vez? Si la respuesta es no, añadirla es solo quemar dinero y aumentar la carga de mantenimiento

Lo mismo ocurre en el lado del diseño. Si usas IA para ayudar con la generación de imágenes, edición de borradores o redacción de propuestas, los comentarios de modificación del cliente son tu señal de feedback. Registra específicamente "por qué el cliente rechazó esta versión" y evítalo en la próxima propuesta; así es como aumentará tu tasa de éxito. Si solo dejas los archivos rechazados sin resumir la razón, podrías modificar cien versiones y seguir en el mismo punto

Algunos proveedores promocionan funciones de memoria como "la IA recordará los hábitos de tu empresa", lo cual suena fantástico. Pero el artículo incluye una advertencia con la que coincido plenamente

La arquitectura de memoria resuelve la cuarta condición, la más difícil, "Retained", pero "solo" resuelve la capacidad de recordar, no te ayuda a filtrar si las tres primeras condiciones son correctas o redundantes

En otras palabras, si almacenas indiscriminadamente feedback erróneo, redundante y lleno de ruido, estos falsos recuerdos serán recuperados y utilizados repetidamente, siendo su toxicidad mayor que si no hubiera memoria. Equivale a amplificar el "error cada vez más grave" de algo puntual a algo permanente

Por lo tanto, al implementar cualquier función de memoria, asegúrate de añadir una "puerta de entrada" (o filtro de escritura): ¿es esta información útil, creíble y no redundante? Solo si pasa la prueba, se almacena. Para una imprenta, esto significa no permitir que las preferencias del cliente anotadas casualmente por un vendedor sin verificar se conviertan automáticamente en "hechos" del sistema

Debo ser honesto: este artículo no es una solución mágica. Ese límite de

・0.94 a

・0.99

utiliza información ideal donde se conoce la respuesta de antemano (lo que el artículo llama Oracle-EFC); los sistemas reales no pueden lograrlo, por lo que es un techo teórico, no una cifra que puedas obtener mañana. Además, la condición de que "el feedback realmente cambie la decisión" es difícil de juzgar por sí misma. Pero, incluso con estos matices, estoy muy a favor de la dirección central

La competencia futura de las herramientas de IA no dependerá de quién tenga más funciones o el cuadro de diálogo más largo, sino de quién logre que cada feedback sea realmente aprovechado. Un buen asistente de IA no es el que hace más trabajo, sino el que, como un buen aprendiz, aprende algo realmente útil en cada paso que da

・Dar más capacidad de cómputo y herramientas a la IA solo explica el 30-40% de los resultados (R²:

・0.33

・0.42), el 60% restante depende de la calidad del feedback

・Sin cambiar la capacidad de cómputo, solo haciendo que el feedback sea efectivo, la tasa de éxito puede saltar del 27% al 90%; la diferencia está en "practicar bien", no en "practicar mucho"

・El feedback efectivo debe ser simultáneamente: informativo, correcto, no redundante y utilizado; si falta la cuarta condición, practicar es en vano

・La función de memoria de la IA solo resuelve "poder recordar", no te ayuda a filtrar errores; sin instalar una puerta de entrada, los recuerdos erróneos son más tóxicos que la falta de memoria

・Reintroducir mensualmente los casos fallidos de presupuestos o modificaciones con IA es la acción clave para que sea cada vez más precisa

Para las imprentas y los estudios de diseño, la verdadera revelación no es "¿deberíamos implementar IA?", sino "¿hemos diseñado un mecanismo de revisión después de la implementación?". La mayoría de la gente se detiene en el primer paso, tratando la conexión de la herramienta como el punto final. Sugiero empezar por algo pequeño: elige un escenario de alta frecuencia, como presupuestos de catálogos o consultas sobre pruebas de etiquetas, crea primero una tabla de 30 respuestas estándar y programa una hora de reintroducción al mes dedicada exclusivamente a usar los casos donde la IA se equivocó para corregir las reglas. Una vez que este bucle funcione correctamente, considera implementar funciones de memoria o ampliar el alcance. Para los proveedores de servicios integrales, esta es también una forma de entablar una relación a largo plazo con el cliente: si ayudas al cliente a diseñar un bucle de feedback efectivo, el sistema se ajustará cada vez más a sus necesidades, en lugar de ser desechado por inexacto después de medio año de uso

・Los agentes también necesitan "feedback a tiempo": Effective Feedback Compute y la "práctica deliberada" de los agentes