Pourquoi votre assistant de devis IA dérive avec le temps ? Tout se joue dans le feedback

En rendant visite à mes clients ces deux derniers mois, plusieurs patrons d'imprimeries PME m'ont posé la même question : l'assistant de devis IA et le chatbot de service client automatique sur LINE installés l'an dernier étaient bluffants au début. Pourquoi ont-ils l'impression qu'ils ne progressent plus aujourd'hui, voire qu'ils accumulent les perles ?

Ce phénomène est expliqué très clairement dans un papier récent intitulé « Scaling Laws for Agent Harnesses via Effective Feedback Compute », rédigé par Xuanliang Zhang et ses coauteurs (j'ai consulté la synthèse en chinois de Wisely Chen)

Il quantifie directement un fait contre-intuitif : penser qu'en injectant « plus de puissance de calcul, plus d'outils et plus d'exécutions », l'IA deviendra plus performante est une illusion

L'étude s'appuie sur les raw tokens et les tool calls pour expliquer le taux de réussite des tâches, avec un coefficient de détermination R² d'à peine :

・0,33 à ・0,42

Traduit en langage de terrain dans une imprimerie : pousser l'historique de conversation du service client IA au niveau de détail maximal, faire recalculer un devis trois fois au lieu d'une, ou connecter deux bases de données supplémentaires — toutes ces actions « j'ai fait beaucoup d'efforts » n'expliquent que 30 à 40 % des résultats. Les 60 % restants n'ont rien à voir avec la quantité de ressources brûlées

C'est exactement comme former un apprenti. Si un chef d'atelier lui fait imprimer deux cents feuilles d'essai par jour sans jamais pointer les défauts ni lui expliquer pourquoi le repérage des couleurs est décalé, l'apprenti aura beau imprimer dix mille feuilles, son niveau ne bougera pas. Il ne sera pas plus doué, juste plus épuisé

Le concept clé du papier s'appelle l'Effective Feedback Compute, ou EFC. En clair : toutes les interactions ne se valent pas, seul un « feedback efficace » permet à l'IA de progresser réellement

Il définit un feedback efficace par quatre conditions cumulatives, que je décline au secteur de l'imprimerie :

・Informative (substantiel) : le feedback apporte une information nouvelle. Si le client trouve le devis trop cher mais ne précise pas si c'est le papier ou le façonnage qui coince, c'est un feedback inutile

・Valid (correct) : le feedback est fiable, pas un bruit parasite ou une devinette. Si un commercial note à la volée « ce client ne regarde pas le prix » alors que c'est tout l'inverse, réinjecter ce feedback erroné est pire que de n'en rien faire

・Non-redundant (non redondant) : inutile de répéter ce qu'on sait déjà. Enregistrer cent fois que « le client veut du papier couché 100 lb » n'apporte aucune donnée nouvelle

・Retained (exploité) : c'est le critère le plus exigeant. Le feedback a-t-il vraiment influencé la décision suivante ? Si un commercial partage une analyse pertinente dans un groupe de discussion mais que personne ne l'intègre dans la logique de devis, c'est comme s'il n'avait rien dit

Voici le chiffre clé : l'étude a mené une expérience comparative où, à budget de calcul rigoureusement constant, le seul fait d'améliorer la qualité du feedback a fait grimper le taux de réussite des tâches de 27 % à 90 %

Sans dépenser un centime de plus, le simple fait de rendre le feedback efficace a plus que triplé le taux de réussite. Une fois recalculé, le pouvoir explicatif R² est passé de :

・0,33 d'un coup à ・0,94 voire ・0,99

Ce constat rejoint ce que les sciences de l'apprentissage répètent depuis des décennies sous le nom de « pratique délibérée » (deliberate practice) : le feedback doit être précis, exact et réinjecté dans la session suivante. S'entraîner sans débriefer, ou débriefer sans corriger, revient à brasser de l'air. L'IA fonctionne exactement comme un humain sur ce point

Une fois le principe compris, la question devient : comment raccorder concrètement cette boucle dans les flux de production de l'imprimerie ? Voici quelques actions à lancer dès cette semaine

Première étape : constituer un tableau de référence (« ground truth »). Identifiez les vingt ou trente produits les plus fréquemment devisés ces six derniers mois — catalogues avec piqûre à cheval, livres en dos carré collé, étiquettes adhésives, boîtes en carton — et rassemblez les références d'articles, papiers, façonnages et fourchettes de prix correctes. Sans cette base de vérité, vous n'aurez aucun signal d'erreur pour corriger les dérives de l'IA

Deuxième étape : documenter chaque erreur de l'IA jusqu'à sa cause racine. Ne notez pas juste « devis faux », mais « a compté du carton 250 g/m² au lieu de 200 g/m² » ou « a oublié d'inclure les frais de vernissage ». C'est le principe Informative : être suffisamment précis pour pouvoir agir

Troisième étape : réinjecter régulièrement les cas d'échec. Consacrez une heure par mois à reprendre les devis bancals et les réponses manquées du service client pour ajuster les prompts ou les règles. C'est la condition Retained : c'est là que la boucle se ferme. Les historiques de chat qui filent au fil de l'eau ne comptent pas ; seules les règles synthétisées et corrigées font foi

Quatrième étape : passer chaque nouvelle fonctionnalité au filtre du quatrième critère EFC. Avant de brancher un outil ou d'activer une réponse automatique, demandez-vous : est-ce que cela va réellement modifier la décision future de l'IA ? Si la réponse est non, c'est de la dépense inutile et de la charge de maintenance en plus

C'est la même logique côté création. Si vous utilisez l'IA pour générer des visuels, corriger des maquettes ou rédiger des propositions, chaque retour client constitue un signal de feedback. Notez précisément pourquoi un projet a été refusé pour corriger le tir lors de la présentation suivante ; laisser dormir les fichiers rejetés sans analyser les motifs vous fera patauger, même après cent révisions

Certains prestataires vantent les fonctions de mémoire du type « l'IA retient les habitudes de votre entreprise ». L'idée est séduisante, mais les auteurs de l'étude émettent une mise en garde très juste

L'architecture mémorielle résout le quatrième critère (« retain »), le plus difficile des quatre. Mais elle se contente de retenir : elle ne filtre absolument pas la justesse ou la redondance des trois premiers

En d'autres termes, si vous injectez du feedback erroné, redondant ou parasité, ces mauvais souvenirs seront rappelés en boucle, générant des effets plus toxiques qu'une absence totale de mémoire. L'erreur ponctuelle devient alors un biais permanent

Toute intégration de mémoire doit donc s'accompagner d'un « filtre à l'écriture » : cette information est-elle suffisamment substantielle, fiable et non redondante ? On n'enregistre qu'une fois la porte franchie. Pour une imprimerie, cela veut dire éviter que les préférences clients notées à la hâte par un commercial sans vérification ne deviennent une « vérité système »

Soyons honnêtes : cette étude n'est pas une baguette magique. Le plafond théorique de 0,94 à ・0,99 repose sur une information idéale obtenue a posteriori (nommée Oracle-EFC dans le papier). Un système réel ne peut l'atteindre parfaitement. De plus, évaluer si un feedback a réellement modifié une décision reste délicat. Mais même en tenant compte de ces limites, la vision d'ensemble est imparable

La compétition entre outils IA ne se jouera pas sur le nombre de fonctionnalités ou la longueur des fenêtres de dialogue, mais sur la capacité à exploiter réellement chaque feedback. Un bon assistant IA ne doit pas juste en faire plus : il doit, à l'image d'un bon chef d'atelier, apprendre de chaque geste exécuté

・Multiplier la puissance de calcul et les outils d'une IA n'explique que 30 à 40 % des résultats (R² : 0,33–0,42) ; les 60 % restants dépendent de la qualité du feedback

・À budget de calcul égal, optimiser la qualité du feedback fait passer le taux de réussite de 27 % à 90 % : la clé est de s'entraîner correctement, pas de s'entraîner plus

・Un feedback efficace doit réunir quatre critères : substantiel, fiable, non redondant et exploité. Manquer le quatrième rend l'effort inutile

・La mémoire IA se contente d'enregistrer sans filtrer les erreurs ; sans garde-fou à l'écriture, une mémoire viciée est pire qu'aucune mémoire

・Réinjecter chaque mois les erreurs de devis et de retouche de l'IA est le geste décisif pour affiner progressivement sa précision

Pour les imprimeries et les studios de création, la vraie question n'est pas « faut-il adopter l'IA ? », mais « avons-nous instauré un processus de débriefing après son déploiement ? ». La plupart s'arrêtent à la première étape en considérant l'outil connecté comme une fin en soi. Commencez plutôt par une action simple : choisissez un cas d'usage fréquent — comme le devis de catalogues ou les demandes d'échantillons d'étiquettes —, établissez une grille de référence de trente cas types, puis planifiez un créneau mensuel d'une heure pour corriger les règles à partir des erreurs observées. Une fois ce cycle rodé, vous pourrez envisager les fonctions de mémoire ou élargir le périmètre. Pour les prestataires de services intégrés, c'est aussi un levier de fidélisation précieux : en aidant votre client à structurer sa boucle de feedback, le système s'adaptera toujours plus finement à ses besoins au lieu d'être jeté au bout de six mois pour manque de précision

・Les agents ont aussi besoin d'un « feedback immédiat » : Effective Feedback Compute et la deliberate practice des agents