Por que seu assistente de orçamento com IA se desvia com o tempo? O segredo está no feedback

Nos últimos dois meses, visitando clientes, ouvi a mesma pergunta de vários donos de gráficas de pequeno e médio porte: o assistente de orçamentos com IA e o chatbot de atendimento no LINE, implementados no ano passado, pareciam incríveis no início. Por que agora parecem ter parado no tempo e, às vezes, erram de forma grotesca?

Esse fenômeno foi explicado em detalhes em um artigo recente intitulado 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, de autoria de Xuanliang Zhang et al., do qual li o resumo em chinês feito por Wisely Chen

O estudo quantifica algo bastante contraintuitivo: você acha que dar mais poder computacional, adicionar mais ferramentas e rodar mais verificações tornará a IA mais forte, mas não torna

O artigo explica a taxa de sucesso das tarefas usando tokens brutos (raw tokens) e chamadas de ferramentas (tool calls), obtendo um coeficiente de determinação R² de apenas 0,33 a 0,42

Traduzindo para o dia a dia da gráfica: salvar o histórico completo das conversas do atendimento, aumentar as tentativas de cálculo de orçamento de uma para três vezes ou conectar mais dois bancos de dados — essas ações de 'fazer muita coisa' explicam apenas de 30% a 40% dos resultados. Os 60% restantes não têm relação com a quantidade de recursos queimados

Eu comparo isso a formar um aprendiz. Se o mestre manda o aprendiz imprimir duzentas folhas de teste por dia, mas nunca aponta as falhas nem mostra onde o registro de cor ficou desalinhado, esse aprendiz pode imprimir dez mil folhas e continuará no mesmo nível. Ele não ficou melhor, ficou apenas mais cansado

O conceito central do artigo chama-se Effective Feedback Compute, ou EFC. A ideia é: nem toda interação conta; apenas o 'feedback efetivo' faz a IA evoluir de fato

O estudo estabelece quatro condições que o feedback efetivo deve atender simultaneamente. Vamos analisar cada uma no contexto gráfico:

・Informative (informativo): o feedback deve trazer novas informações. Se o cliente diz que o orçamento está caro, mas não especifica se é no papel ou no acabamento, esse feedback é inútil

・Valid (válido): o feedback deve ser confiável, sem ruídos ou palpites. Se o vendedor anota por conta própria que 'este cliente não se importa com preço' quando é exatamente o oposto, alimentar a IA com esse dado errado é pior do que não dar feedback algum

・Non-redundant (não redundante): não repita o que já se sabe. Registrar cem vezes que o 'cliente quer papel couché de 100 gsm' não traz nenhuma informação nova

・Retained (retido e aplicado): esta é a mais crítica. O feedback realmente entrou na próxima tomada de decisão? Se o vendedor fez uma observação correta no grupo de conversa, mas ninguém a incorporou à lógica de orçamento, é como se ela nunca tivesse existido

O dado mais impressionante está aqui: os autores fizeram um experimento controlado onde, mantendo o orçamento de processamento rigorosamente idêntico, apenas melhoraram a qualidade do feedback. A taxa de sucesso das tarefas saltou de 27% para 90%

Sem gastar um centavo a mais, apenas tornando o feedback efetivo, a taxa de sucesso mais que triplicou. Ao recalcular, a capacidade explicativa R² foi de 0,33 direto para 0,94 a 0,99

Essa lógica é a mesma que a ciência da aprendizagem chama há décadas de 'prática deliberada' (deliberate practice): o feedback precisa ser específico, correto e aplicado na tentativa seguinte. Treinar sem avaliar, ou avaliar sem corrigir, é o mesmo que não treinar. A IA funciona exatamente como os humanos nesse ponto

Entendido o princípio, a questão passa a ser: como conectar esse ciclo no fluxo de trabalho gráfico? Aqui estão algumas ações práticas para começar ainda esta semana

Primeiro, crie uma tabela de 'respostas padrão' de referência. Selecione os 20 a 30 itens mais orçados nos últimos seis meses — brochuras grampeadas, livros com lombada quadrada, adesivos, caixas de papelão — e organize os códigos de material corretos, papéis, acabamentos e faixas de preço razoáveis em uma base de referência (ground truth). Se a IA gerar um preço fora dessa referência, você terá o sinal para corrigir; caso contrário, nem saberá quando ela errar

Segundo, registre a causa raiz de cada erro da IA. Não anote apenas 'orçamento errado', mas sim 'calculou cartão de 250 gsm como 200 gsm' ou 'esqueceu o custo do envernizamento'. Isso responde ao critério Informative: ser específico a ponto de permitir uma ação

Terceiro, faça a alimentação retroativa periódica dos casos de falha. Reserve uma hora por mês para pegar os orçamentos descalibrados e respostas erradas do atendimento daquele período e ajustar os prompts ou as regras da IA. Esta é a etapa do Retained: é aqui que o ciclo se fecha. Históricos de conversa perdidos não contam; só conta o que é sistematizado e convertido em regras aprimoradas

Quarto, antes de adicionar qualquer funcionalidade, passe pela quarta regra do EFC. Se quiser conectar outra ferramenta ou ativar mais uma resposta automática, pergunte-se: isso realmente mudará a próxima decisão da IA? Se a resposta for não, adicioná-la é apenas queimar dinheiro e aumentar a carga de manutenção

O mesmo vale para o design. Se você usa IA para gerar imagens, fazer alterações ou criar propostas, as solicitações de alteração do cliente são seus sinais de feedback. Anote especificamente por que o cliente recusou uma versão e evite esse erro na próxima apresentação; assim sua taxa de aprovação subirá. Apenas guardar os arquivos rejeitados sem analisar a causa deixará você estagnado, mesmo após cem alterações

Alguns fornecedores prometem recursos de memória como 'a IA vai aprender os hábitos da sua empresa', o que soa ótimo. Mas o artigo traz um alerta com o qual concordo totalmente

A arquitetura de memória resolve a quarta e mais difícil das regras, a de reter (retain). Porém, ela 'apenas' garante a retenção; ela não filtra se os dados cumprem as três primeiras condições de serem corretos ou não redundantes

Em outras palavras, se você salvar feedbacks errados, redundantes e cheios de ruído, essas memórias incorretas serão recuperadas e usadas repetidamente, sendo mais tóxicas do que não ter memória alguma. Isso transforma erros pontuais em falhas permanentes

Por isso, antes de adotar qualquer recurso de memória, é indispensável criar um 'filtro de gravação': essa informação é realmente útil, confiável e não redundante? Só salve se passar no teste. Nas gráficas, isso significa evitar que preferências de clientes anotadas informalmente por vendedores virem 'fatos' no sistema

É preciso ser honesto: este artigo não é uma solução mágica. Aquele limite de 0,94 a 0,99 utiliza informações ideais conhecidas apenas a posteriori (que o artigo chama de Oracle-EFC). Um sistema real não consegue alcançar isso; portanto, trata-se de um teto teórico, não de algo aplicável amanhã. Além disso, avaliar se o feedback realmente mudou uma decisão é algo intrinsecamente difícil. Contudo, mesmo com essas ressalvas, concordo plenamente com a direção apontada

No futuro, a competição entre ferramentas de IA não será sobre quem oferece mais recursos ou janelas de chat maiores, mas sobre quem consegue fazer com que cada feedback seja realmente aproveitado. Um bom assistente de IA não é aquele que faz mais tarefas, mas aquele que, como um bom mestre gráfico, aprende de verdade a cada passo executado

・Fornecer mais poder computacional e ferramentas à IA explica apenas 30% a 40% dos resultados (R²: 0,33 a 0,42); os 60% restantes dependem da qualidade do feedback

・Sem alterar o poder computacional, apenas tornando o feedback efetivo, a taxa de sucesso pode saltar de 27% para 90%. A diferença está em treinar certo, não em treinar mais

・O feedback efetivo exige simultaneamente ser: informativo, válido, não redundante e retido/aplicado. Sem a quarta condição, o treino é em vão

・O recurso de memória da IA apenas resolve o 'lembrar'; ele não filtra erros. Sem um filtro de gravação, memórias erradas são mais nocivas do que a ausência de memória

・Alimentar a IA mensalmente com os casos de erro em orçamentos e alterações é a ação decisiva para torná-la cada vez mais precisa

Para gráficas e estúdios de design, a verdadeira lição não é 'se devemos ou não adotar IA', mas 'se temos um mecanismo de revisão após a adoção'. A maioria trava no primeiro passo, tratando a simples conexão da ferramenta como a linha de chegada. A recomendação é começar pequeno: escolha um cenário frequente, como orçamentos de catálogos ou cotações de provas de adesivos, crie uma tabela de referência com trinta respostas padrão e agende uma hora por mês para ajustar as regras com base nos erros da IA. Quando esse ciclo estiver fluindo bem, avalie implementar memória ou expandir o escopo. Para fornecedores de serviços integrados, este é também um ponto de fidelização de longo prazo com o cliente: ao desenhar um bom ciclo de feedback para ele, o sistema se adaptará cada vez melhor às necessidades dele, em vez de ser descartado após seis meses por falta de precisão

・Agentes também precisam de "feedback imediato": Effective Feedback Compute e a prática deliberada em agentes