Pourquoi votre assistant de devis IA devient-il de moins en moins précis ? Tout est une question de feedback

Ces deux derniers mois, en visitant des clients, plusieurs patrons de PME d'imprimerie m'ont posé la même question : l'assistant de devis IA ou le chatbot LINE installé l'année dernière fonctionnait à merveille au début, mais aujourd'hui, il ne semble plus progresser, voire commet des erreurs de plus en plus grossières

Ce phénomène est très bien expliqué dans un article récent intitulé 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, écrit par Xuanliang Zhang et al. J'ai consulté la synthèse chinoise faite par Wisely Chen

Il quantifie directement un fait contre-intuitif : vous pensez que « plus de puissance de calcul, plus d'outils, plus d'itérations » rendra l'IA plus performante, mais ce n'est pas le cas

L'article utilise les raw tokens et les tool calls pour expliquer le taux de succès des tâches, avec un coefficient de corrélation R² de seulement :

・0,33 à

・0,42

En clair, dans le contexte d'une imprimerie : augmenter la précision des journaux de conversation de l'IA, passer d'un à trois calculs de devis, ou connecter deux bases de données supplémentaires sont des actions qui ne reflètent que 30 à 40 % des résultats. Les 60 % restants n'ont rien à voir avec les ressources engagées

Cela me rappelle la formation d'un apprenti. Un maître qui demande à un apprenti d'imprimer deux cents épreuves par jour, sans jamais pointer ses erreurs ou corriger ses problèmes de repérage, verra son apprenti stagner même après dix mille impressions. Il n'est pas devenu plus compétent, il est juste plus fatigué

Le concept clé de l'article est l'Effective Feedback Compute, abrégé en EFC. Cela signifie que toutes les interactions ne se valent pas ; seul un « feedback efficace » permet à l'IA de réellement progresser

Il définit quatre conditions pour qu'un feedback soit efficace. Je les adapte à la scène de l'impression :

・Informative (informatif) : le feedback apporte une nouvelle information. Si un client se plaint que le devis est cher sans préciser si c'est dû au papier ou au façonnage, ce feedback ne sert à rien

・Valid (valide) : le feedback est fiable, ce n'est pas du bruit ou une supposition. Si un commercial note négligemment « ce client ne se soucie pas du prix » alors que c'est l'inverse, ce feedback erroné est pire que pas de feedback du tout

・Non-redundant (non redondant) : ne répétez pas ce qui est déjà connu. Si le système a enregistré cent fois « le client veut du papier couché 100 g/m² », il n'y a aucune nouvelle information

・Retained (retenu) : c'est le point crucial. Le feedback a-t-il été réellement pris en compte dans la décision suivante ? Si un commercial donne le bon jugement dans un groupe, mais que personne ne l'intègre dans la logique de calcul des devis, c'est comme s'il n'avait rien dit

Le chiffre clé est ici : l'article a réalisé une étude comparative où, sans changer le budget de calcul, le simple fait d'améliorer la qualité du feedback a fait passer le taux de succès des tâches de 27 % à 90 %

Sans dépenser un centime de plus, juste en rendant le feedback efficace, le taux de succès a été multiplié par trois. Après recalcul, la force explicative R² est passée de :

・0,33 directement à

・0,94 jusqu'à

・0,99

Cette théorie n'est rien d'autre que la « pratique délibérée » (deliberate practice) étudiée depuis des décennies en sciences de l'apprentissage : le feedback doit être concret, précis et intégré dans l'exercice suivant. S'entraîner sans se remettre en question, ou se remettre en question sans modifier sa méthode, revient à ne pas s'entraîner. L'IA fonctionne exactement comme les humains sur ce point

Une fois le principe compris, la question devient : comment intégrer concrètement cette boucle dans le processus d'impression ? Voici quelques mesures que vous pouvez mettre en œuvre dès cette semaine

Premièrement, créez un tableau de « réponses standard ». Identifiez les vingt ou trente produits les plus fréquemment devisés au cours des six derniers mois : catalogues en piqûre à cheval, livres en dos carré collé, étiquettes, boîtes pliantes. Rassemblez les codes articles corrects, les types de papier, les finitions et les plages de prix raisonnables dans une « vérité de terrain » (ground truth). Si les devis de l'IA ne correspondent pas à cette référence, vous aurez un « signal d'erreur » pour la corriger, sinon, vous ne saurez jamais si le devis est erroné

Deuxièmement, gardez une trace de chaque erreur de l'IA, en notant la cause profonde. Ne notez pas juste « devis erroné », mais « a calculé le carton 250 g/m² comme du 200 g/m² » ou « a oublié de compter les frais de vernis ». Cela correspond à la condition Informative, il faut être assez précis pour agir

Troisièmement, réinjectez périodiquement les cas d'échec. Prenez une heure par mois pour analyser les cas où l'IA a fait un mauvais devis ou a mal répondu au client, et ajustez ses prompts ou ses règles. C'est l'étape Retained ; la boucle n'est « fermée » que si cela est fait. Les journaux de conversation qui flottent ne comptent pas ; ce qui compte, c'est ce qui est synthétisé et ce qui sert à améliorer les règles

Quatrièmement, à chaque fois que vous ajoutez une fonctionnalité, vérifiez la quatrième condition de l'EFC. Si vous voulez connecter un nouvel outil ou ajouter une réponse automatique, demandez-vous : est-ce que cela va réellement changer le jugement de l'IA la prochaine fois ? Si la réponse est non, l'ajouter n'est qu'un gaspillage d'argent et une charge de maintenance supplémentaire

Il en va de même pour la conception graphique. Si vous utilisez l'IA pour aider à créer des visuels, modifier des brouillons ou rédiger des propositions, chaque commentaire de modification du client est votre signal de feedback. Notez concrètement « pourquoi le client a rejeté cette version », et évitez de reproduire l'erreur lors de la prochaine proposition ; c'est ainsi que votre taux de réussite augmentera. Si vous vous contentez de laisser les fichiers de rejet de côté sans en analyser la cause, vous ferez cent versions en restant au même point

Certains fournisseurs vantent des fonctions de mémoire comme « l'IA se souviendra des habitudes de votre entreprise », ce qui semble séduisant. Mais l'article souligne un point crucial avec lequel je suis tout à fait d'accord

L'architecture de mémoire résout la quatrième condition, la plus difficile (retain), mais elle « ne fait que » se souvenir ; elle ne vous aidera pas à filtrer si les trois premières conditions sont respectées ou si l'information est redondante

En d'autres termes, si vous stockez pêle-mêle des feedbacks erronés, répétitifs ou bruyants, ces faux souvenirs seront constamment rappelés, ce qui est bien plus toxique que de ne pas avoir de mémoire du tout. Cela revient à amplifier une erreur ponctuelle pour la transformer en erreur permanente

Par conséquent, l'introduction de toute fonction de mémoire doit obligatoirement être accompagnée d'une « barrière d'écriture » : cette information est-elle pertinente, crédible et non redondante ? Validez-la avant de la stocker. Pour une imprimerie, cela signifie ne pas laisser les préférences client notées à la hâte par les commerciaux, sans vérification, devenir automatiquement des « faits » pour le système

Il faut également être honnête : cet article n'est pas une solution miracle. Ce passage de :

・0,94 à

・0,99

se base sur une information idéale où l'on connaît la réponse après coup (Oracle-EFC dans l'article), ce qu'un système réel ne peut pas faire. C'est donc un plafond théorique, pas un chiffre que vous atteindrez demain. De plus, la condition selon laquelle « le feedback doit réellement changer la décision » est difficile à évaluer en soi. Mais même en tenant compte de ces réserves, j'adhère totalement à la direction générale

La concurrence future des outils d'IA ne portera pas sur le nombre de fonctionnalités connectées ou la longueur des boîtes de dialogue, mais sur qui saura réellement exploiter chaque feedback. Un bon assistant IA ne consiste pas à lui faire faire plus de travail, mais à agir comme un bon mentor, en lui permettant d'apprendre quelque chose de nouveau à chaque étape

・Augmenter la puissance de calcul et les outils de l'IA n'explique que 30 à 40 % des résultats (R² :

・0,33

・0

・42), les 60 % restants dépendent de la qualité du feedback

・À puissance de calcul égale, rendre le feedback efficace peut faire passer le taux de succès de 27 % à 90 %. La différence réside dans la « bonne pratique » et non dans la « pratique intensive »

・Un feedback efficace doit être simultanément : informatif, valide, non redondant et retenu. Manquer la quatrième condition revient à s'entraîner inutilement

・La fonction de mémoire de l'IA ne résout que le fait de « se souvenir » et n'aide pas à filtrer les erreurs ; sans une barrière d'écriture, une mémoire erronée est plus toxique que l'absence de mémoire

・Réinjecter mensuellement les cas d'échec des devis et des modifications par IA est l'action clé pour améliorer sa précision au fil du temps

Pour les imprimeries et les studios de design, le véritable enseignement n'est pas « devrions-nous adopter l'IA », mais « avons-nous conçu un mécanisme de revue après adoption ». La plupart des gens restent bloqués dès la première étape, considérant l'installation de l'outil comme la finalité. Je recommande de commencer par une petite chose : choisissez un scénario fréquent, comme les devis de catalogues ou les demandes d'épreuves d'étiquettes, créez d'abord un tableau de trente réponses standard, puis planifiez une heure de réinjection par mois, spécifiquement pour corriger les règles à partir des cas où l'IA a mal répondu. Une fois que cette boucle est bien huilée, envisagez d'ajouter des fonctions de mémoire ou d'élargir le champ d'application. Pour les entreprises proposant des services intégrés, c'est aussi un moyen de fidéliser les clients sur le long terme : vous aidez le client à concevoir sa boucle de rétroaction, et le système deviendra de plus en plus adapté à ses besoins, au lieu d'être jeté après six mois parce qu'il n'est plus jugé assez précis

・Les agents ont aussi besoin de « feedback en temps réel » : Effective Feedback Compute et la pratique délibérée des agents