De ce asistentul tău AI pentru cotații devine mai imprecis pe măsură ce îl folosești? Cheia este feedback-ul

În ultimele două luni, am vizitat clienți și am întâlnit mulți proprietari de tipografii mici și mijlocii care se confruntă cu aceeași problemă: asistenții AI de cotații și chatbot-urile de servicii clienți implementate anul trecut, care păreau uimitoare la început, par să nu fi progresat deloc, iar uneori devin chiar mai imprecisi

Acest fenomen este analizat în detaliu într-o lucrare recentă intitulată 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, scrisă de Xuanliang Zhang și alții (am citit sinteza în chineză realizată de Wisely Chen)

Aceasta cuantifică un fapt contraintuitiv: credem că, dacă „oferim mai multă putere de calcul, mai multe instrumente și rulări mai frecvente”, AI-ul va deveni mai puternic, dar în realitate nu este așa

Lucrarea utilizează raw tokens și tool calls pentru a explica rata de succes a sarcinilor, cu coeficienți de corelație R² de doar:

・0,33 până la

・0,42

Tradus pe înțelesul tipografilor: să configurezi detaliat istoricul conversațiilor AI, să crești numărul de recalculări ale cotațiilor de la o dată la trei ori sau să conectezi mai multe baze de date — toate aceste acțiuni care par „multă muncă” explică probabil doar 30-40% din rezultate, restul de 60% nu având nicio legătură cu resursele consumate

Compar asta cu antrenarea unui ucenic. Un maistru îi cere unui ucenic să imprime 200 de foi de probă pe zi, dar dacă nu îi corectează niciodată greșelile și nu îi arată unde s-a aliniat greșit culoarea, ucenicul va rămâne la același nivel chiar și după 10.000 de foi. Nu a devenit mai bun, a devenit doar mai obosit

Conceptul central al lucrării este Effective Feedback Compute, prescurtat EFC. Înseamnă că nu toate interacțiunile contează, doar „feedback-ul eficient” poate face AI-ul să progreseze cu adevărat

Ea definește feedback-ul eficient ca fiind cel care îndeplinește simultan patru condiții. Le voi aplica pe rând în contextul tipografic:

・Informative (să ofere informații): Feedback-ul trebuie să aducă noutăți. Dacă un client spune că cotația e scumpă, dar nu precizează dacă e din cauza hârtiei sau a finisajelor, acesta este un feedback inutil

・Valid (să fie corect): Feedback-ul trebuie să fie credibil, nu zgomot sau presupuneri. Dacă agentul de vânzări notează neglijent „acest client nu se uită la preț”, dar este exact invers, alimentarea cu un astfel de feedback eronat este mai dăunătoare decât lipsa lui

・Non-redundant (fără repetiții): Nu repeta ce se știe deja. Dacă sistemul a notat de o sută de ori „clientul vrea hârtie cretată de 100 g/m²”, nu există informații noi

・Retained (să fie utilizat): Aceasta este partea cea mai dură. Feedback-ul a fost inclus cu adevărat în următoarea decizie? Dacă agentul de vânzări a făcut observația corectă în grup, dar nimeni nu a actualizat logica de cotație, e ca și cum nu ar fi spus nimic

Cifra cea mai importantă este aceasta: lucrarea a realizat un experiment comparativ în care, menținând bugetul de calcul complet neschimbat, au îmbunătățit doar calitatea feedback-ului, iar rata de succes a sarcinilor a crescut de la 27% la 90%

Costurile nu au crescut cu nimic, au făcut doar feedback-ul eficient, iar rata de succes s-a triplat. Recalculat, puterea explicativă R² a crescut de la:

・0,33 brusc la

・0,94 până la

・0,99

Această abordare este, de fapt, „practica deliberată” (deliberate practice) despre care vorbesc studiile de învățare de zeci de ani: feedback-ul trebuie să fie concret, corect și să fie integrat în următoarea sesiune de practică. Să exersezi fără să analizezi, sau să analizezi fără să schimbi ceva, este egal cu a nu exersa deloc. AI-ul funcționează la fel ca oamenii

După ce înțelegem principiul, problema devine: cum conectăm cu adevărat această buclă în procesul de tipărire. Iată câteva abordări pe care le puteți implementa chiar săptămâna aceasta

În primul rând, construiți o listă de „răspunsuri standard”. Identificați cele mai frecvente 20-30 de produse din ultima jumătate de an, cum ar fi cataloagele capsate, cărțile broșate, autocolantele, cutiile, și organizați codurile de produs, tipurile de hârtie, finisajele și intervalele de preț rezonabile într-un set de date de tip „ground truth”. Doar dacă prețurile oferite de AI nu corespund acestora, aveți un „semnal de eroare” pentru corecție; altfel, nici nu veți ști când raportează greșit

În al doilea rând, păstrați o evidență a fiecărei erori AI și notați cauza rădăcină. Nu notați doar „eroare la cotație”, ci notați „a calculat cartonul de 250 g/m² ca fiind de 200 g/m²” sau „a uitat să includă costul lăcuirii”. Aceasta corespunde condiției Informative, trebuie să fie suficient de concret pentru a acționa

În al treilea rând, reintroduceți periodic cazurile eșuate. Alocați o oră pe lună pentru a lua cazurile în care AI-ul a cotat greșit sau a răspuns greșit la clienți și corectați-i prompt-ul sau regulile. Aceasta este etapa Retained; dacă feedback-ul a „închis bucla” se vede aici. Istoricul conversațiilor care doar plutește nu contează; doar ceea ce este organizat și îmbunătățit în reguli contează

În al patrulea rând, înainte de a adăuga o nouă funcție, treceți-o prin a patra condiție EFC. Dacă doriți să conectați un alt instrument sau să adăugați un răspuns automat, întrebați-vă: va schimba acest lucru cu adevărat următoarea decizie a AI-ului? Dacă nu, adăugarea lui înseamnă doar arderea banilor și creșterea sarcinii de întreținere

Aceeași regulă se aplică și în design. Dacă folosiți AI pentru a asista în generarea imaginilor, modificarea manuscriselor sau scrierea propunerilor, feedback-ul clientului pentru fiecare modificare este semnalul vostru. Notați concret „de ce a respins clientul această variantă” și evitați asta în următoarea propunere; rata de succes va crește. Dacă doar lăsați fișierele respinse acolo fără a sintetiza motivele, puteți face 100 de variante și veți rămâne pe loc

Unii furnizori promovează funcții de memorie de tipul „AI-ul va reține obiceiurile companiei tale”, ceea ce sună foarte bine. Totuși, lucrarea conține o avertizare pe care o susțin

Arhitectura de memorie rezolvă a patra condiție, cea mai dificilă, „retain”, dar „doar” rezolvă stocarea, nu vă va ajuta să filtrați dacă primele trei condiții (Informativ, Valid, Non-redundant) sunt îndeplinite

Cu alte cuvinte, dacă introduceți feedback eronat, redundant și plin de zgomot în memorie, aceste amintiri false vor fi apelate în mod repetat, fiind mai toxice decât lipsa memoriei. Este echivalent cu a amplifica un fenomen de „cu cât greșește mai mult, cu atât mai aberant devine” de la un incident unic la unul permanent

Prin urmare, atunci când introduceți orice funcție de memorie, asigurați-vă că o echipați cu o „poartă de scriere”: această informație este suficient de informativă, credibilă și non-redundantă? Doar dacă trece, o stocați. Pentru tipografii, aceasta înseamnă să nu lăsați preferințele clienților notate în grabă de agenții de vânzări și neverificate să devină automat „fapte” în sistem

Trebuie să fim sinceri, această lucrare nu este un leac universal. Acele cifre:

・0,94 până la

・0,99 ca limită superioară utilizează informații ideale obținute post-factum (lucrarea numește aceasta Oracle-EFC), ceea ce sistemele reale nu pot face; prin urmare, acesta este un plafon teoretic, nu o cifră pe care o veți obține mâine. Și condiția „feedback-ul a schimbat cu adevărat decizia” este dificil de judecat. Dar chiar și cu aceste rezerve, sunt pe deplin de acord cu direcția principală

Competiția viitoare a instrumentelor AI nu va fi despre cine are mai multe funcții sau mai lungi ferestre de dialog, ci între cine poate face ca fiecare feedback să fie cu adevărat utilizat. Un bun asistent AI nu este unul care face multă treabă, ci unul care, ca un bun ucenic, învață cu adevărat din fiecare pas pe care îl face

・Oferirea mai multă putere de calcul și instrumente AI explică doar 30-40% din rezultate (R²:

・0,33

・0,

・42), restul de 60% depinde de calitatea feedback-ului

・Fără a schimba puterea de calcul, doar făcând feedback-ul eficient, rata de succes poate crește de la 27% la 90%; diferența constă în „a exersa corect”, nu în „a exersa mult”

・Feedback-ul eficient trebuie să îndeplinească simultan: să fie informativ, corect, non-redundant și utilizat; lipsa celei de-a patra condiții înseamnă muncă inutilă

・Funcțiile de memorie AI rezolvă doar stocarea, nu ajută la filtrarea erorilor; fără o „poartă de scriere”, memoriile eronate sunt mai toxice decât lipsa memoriei

・Reintroducerea lunară a cazurilor eșuate din cotațiile și corecturile AI este acțiunea cheie pentru a-l face din ce în ce mai precis

Pentru tipografii și studiouri de design, adevărata revelație nu este „dacă ar trebui să introducem AI”, ci „dacă am conceput un mecanism de revizuire după introducere”. Majoritatea oamenilor se blochează la primul pas, tratând implementarea instrumentului ca pe un punct final. Sugerez să începeți cu ceva mic: alegeți un scenariu de înaltă frecvență, cum ar fi cotația pentru cataloage sau solicitările de probe pentru autocolante, construiți mai întâi un tabel de 30 de răspunsuri standard, apoi programați o sesiune de reintroducere de o oră pe lună, dedicată corectării regulilor cu ajutorul cazurilor în care AI-ul a răspuns greșit. După ce această buclă funcționează bine, luați în considerare activarea funcțiilor de memorie sau extinderea domeniului. Pentru furnizorii de servicii integrate, acesta este, de asemenea, un punct de legătură pe termen lung cu clienții: dacă ajutați clientul să proiecteze o buclă de feedback, sistemul va deveni din ce în ce mai adaptat nevoilor sale, în loc să fie abandonat după jumătate de an pentru că este considerat imprecis

・Agenții au nevoie și ei de „feedback în timp real”: Effective Feedback Compute și practica deliberată a Agenților