Por que seu assistente de orçamento por IA erra cada vez mais? O segredo está no feedback

Ao visitar clientes nos últimos meses, ouvi a mesma reclamação de vários donos de gráficas de pequeno e médio porte: o assistente de orçamento por IA e o chatbot de atendimento automático no LINE, que pareciam incríveis no início, parecem não evoluir. Pior: às vezes, cometem erros cada vez mais absurdos

Esse fenômeno é explicado em detalhes em um artigo científico recente intitulado 'Scaling Laws for Agent Harnesses via Effective Feedback Compute', escrito por Xuanliang Zhang e colaboradores. Li a análise desse estudo feita por Wisely Chen

O estudo quantifica algo contraintuitivo: você acha que dar mais poder de processamento, integrar mais ferramentas e rodar o processo mais vezes vai deixar a IA mais forte, mas não é bem assim

O artigo usa raw tokens e tool calls para explicar a taxa de sucesso das tarefas, e o coeficiente de correlação R² ficou em apenas:

・0,33 a

・0,42

Traduzindo para o dia a dia da gráfica: registrar o histórico de conversa do atendimento com o máximo de detalhes, refazer o cálculo do orçamento três vezes em vez de uma ou conectar mais dois bancos de dados... todo esse esforço só explica cerca de 30% a 40% do resultado. Os outros 60% não têm nada a ver com a quantidade de recursos que você gasta

É como treinar um aprendiz. Se o impressor mandar o ajudante rodar duzentas folhas de teste por dia, mas nunca apontar as falhas ou explicar por que o registro de cores saiu desalinhado, o rapaz pode rodar dez mil folhas e continuará no mesmo nível. Ele não ficou melhor, só ficou mais cansado

O conceito central do artigo é o Effective Feedback Compute, ou simplesmente EFC. Significa que nem toda interação gera aprendizado; apenas o 'feedback eficaz' faz a IA evoluir de verdade

Ele define que o feedback eficaz deve atender a quatro condições simultaneamente. Vamos analisar cada uma no contexto da impressão:

・Informative (relevante): o feedback precisa trazer informações novas. Se o cliente reclama que o orçamento está caro, mas não diz se é pelo papel ou pelo acabamento, esse feedback é inútil

・Valid (válido): o feedback deve ser confiável, livre de ruídos ou suposições. Se o vendedor anota por alto que 'esse cliente não liga para preço', quando na verdade é o oposto, alimentar a IA com esse dado errado é pior do que não dar feedback nenhum

・Non-redundant (não redundante): evite repetir o que o sistema já sabe. Registrar cem vezes que 'o cliente quer papel couchê de 100 gsm' não traz nenhuma informação nova

・Retained (incorporado): esta é a mais cruel. O feedback realmente influenciou a próxima decisão? Se o vendedor compartilha uma informação correta no grupo, mas ninguém a integra à lógica de orçamento da IA, é o mesmo que nada

Aqui está o dado mais importante: o estudo realizou um experimento comparativo no qual, mantendo o mesmo orçamento de processamento, apenas melhorou-se a qualidade do feedback. A taxa de sucesso das tarefas saltou de 27% para 90%

Sem gastar um centavo a mais, apenas tornando o feedback eficaz, a taxa de sucesso triplicou. Recalculando os dados, a capacidade de explicação do coeficiente R² passou de:

・0,33 diretamente para

・0,94 a

・0,99

Esse conceito é exatamente o que a ciência da aprendizagem chama há décadas de 'prática deliberada' (deliberate practice): o feedback precisa ser específico, correto e aplicado no próximo treino. Treinar sem avaliar, ou avaliar e não corrigir, não serve para nada. A IA funciona do mesmo jeito que os humanos

Compreendido o princípio, o desafio é: como fechar esse ciclo no fluxo de produção gráfica? Aqui estão algumas ações práticas que você pode implementar ainda esta semana

Primeiro, monte um gabarito com as respostas corretas. Identifique os 20 ou 30 produtos mais orçados nos últimos seis meses — como catálogos em canoa (grampo), livros com encadernação brochura (cola), adesivos e caixas de papelão — e defina os códigos de insumos corretos, papéis, acabamentos e faixas de preço aceitáveis (ground truth). Se o orçamento da IA divergir desse padrão, você terá uma referência para corrigi-la; caso contrário, ela errará sem que você perceba

Segundo, registre todos os erros da IA apontando a causa raiz. Em vez de apenas anotar 'erro no orçamento', registre 'classificou papel cartão de 250 gsm como 200 gsm' ou 'esqueceu de incluir o custo da aplicação de verniz'. Isso atende ao critério Informative: o erro precisa ser específico o bastante para gerar uma ação corretiva

Terceiro, faça a reinserção periódica dos casos de erro. Dedique uma hora por mês para revisar os orçamentos errados e as respostas falhas do chatbot e atualizar as instruções (prompts) ou regras da IA. Essa etapa garante o critério Retained, definindo se o ciclo de feedback foi fechado. Históricos de chat ignorados não ensinam nada; o que vale é consolidar os erros e ajustar as regras

Quarto, antes de adicionar qualquer recurso, valide-o com a quarta regra do EFC. Se quiser integrar uma nova ferramenta ou ativar outra resposta automática, pergunte-se: isso realmente mudará as próximas decisões da IA? Se a resposta for não, a novidade servirá apenas para gastar dinheiro e aumentar o custo de manutenção

Para a área de design também vale a mesma regra. Se você usa IA para gerar imagens, fazer ajustes de layout ou escrever propostas, os pedidos de alteração do cliente são seus sinais de feedback. Registre detalhadamente os motivos pelos quais o cliente reprovou uma versão e evite-os na próxima apresentação. Só assim sua taxa de aprovação vai subir. Se você apenas acumular arquivos rejeitados sem analisar as causas, poderá fazer cem versões e continuará no mesmo lugar

Alguns fornecedores oferecem recursos de memória como 'a IA vai aprender os hábitos da sua empresa'. Soa perfeito, mas o artigo traz um alerta muito importante sobre isso

A arquitetura de memória resolve apenas a quarta condição, 'retain', que é a mais difícil. Mas ela *só* garante a retenção; ela não filtra se a informação é correta, redundante ou relevante

Ou seja, se você salvar feedbacks errados, repetitivos ou cheios de ruído sem qualquer critério, essas memórias incorretas serão recuperadas continuamente. Isso é muito pior do que não ter memória alguma, pois transforma um erro pontual em uma falha recorrente e permanente

Por isso, ao adotar qualquer recurso de memória, é fundamental ter um filtro de validação: essa informação é relevante, confiável e inédita? Salve apenas se passar por esse crivo. No caso de uma gráfica, evite que as anotações informais ou preferências de clientes não checadas feitas pelos vendedores virem verdades absolutas no sistema

Vale ressaltar que este artigo não traz uma fórmula mágica. Aquele limite de:

・0,94 a

・0,99 de teto utiliza informações ideais obtidas após o fato (o que o artigo chama de Oracle-EFC). Sistemas reais não alcançam esse nível, portanto trata-se de um limite teórico, não de um resultado imediato. Além disso, avaliar se o feedback realmente alterou a decisão é algo complexo. Mesmo com essas ressalvas, o direcionamento principal faz todo sentido

No futuro, a concorrência entre ferramentas de IA não será decidida por quem oferece mais recursos ou janelas de chat maiores, mas sim por quem conseguir aproveitar de verdade cada feedback recebido. Um bom assistente de IA não é aquele que trabalha mais, mas sim o que, sob a tutela de um bom orientador, aprende algo real a cada tarefa realizada

・Dar mais processamento e ferramentas à IA explica apenas 30% a 40% do resultado (R²:

・0,33

・0

・42), e os 60% restantes dependem da qualidade do feedback

・Sem alterar a capacidade de processamento, apenas tornando o feedback eficaz, a taxa de sucesso salta de 27% para 90%. A diferença está em treinar certo, e não em treinar mais

・O feedback eficaz exige: informação relevante, correta, inédita e realmente aproveitada. Sem esta última, o treino não serve para nada

・A memória da IA apenas retém dados, não filtra erros. Sem um filtro de entrada, as falsas memórias são mais prejudiciais do que a falta de histórico

・Alimentar a IA mensalmente com os erros de orçamento e de alterações de design é o passo definitivo para aumentar a precisão do sistema

Para gráficas e estúdios de design, a verdadeira questão não é se devem ou não adotar a IA, mas se existe um processo de revisão pós-implementação. A maioria das empresas para no primeiro passo, tratando a integração da ferramenta como a linha de chegada. Comece pequeno: selecione um fluxo frequente, como orçamentos de catálogos ou dúvidas sobre provas de adesivos, crie um gabarito com trinta respostas de referência e reserve uma hora por mês para ajustar as regras usando os erros cometidos pela IA. Quando esse fluxo estiver redondo, planeje ativar recursos de memória ou expandir o escopo. Para prestadores de serviços integrados, isso também ajuda a fidelizar o cliente no longo prazo: ao estruturar um ciclo de feedback eficiente para ele, o sistema se adapta cada vez mais às suas necessidades, evitando que seja descartado por falta de precisão após alguns meses de uso

・Os agentes também precisam de 'feedback imediato': Effective Feedback Compute e a prática deliberada de agentes