Dlaczego Twój asystent wyceny AI staje się coraz mniej precyzyjny? Kluczem jest feedback

W ciągu ostatnich dwóch miesięcy odwiedzając klientów, słyszałem od właścicieli wielu małych i średnich drukarni to samo pytanie: dlaczego wdrożony w zeszłym roku asystent wyceny AI czy chatbot obsługujący LINE, który początkowo robił ogromne wrażenie, teraz nie wykazuje postępów, a czasami popełnia jeszcze bardziej kuriozalne błędy?

Zjawisko to zostało szczegółowo wyjaśnione w niedawnym artykule „Scaling Laws for Agent Harnesses via Effective Feedback Compute”, autorstwa Xxuaniang Zhanga i innych. Osobiście zapoznałem się z jego opracowaniem autorstwa Wisely Chena

Artykuł wprost kwantyfikuje coś kontrintuicyjnego: wydaje ci się, że „dając więcej mocy obliczeniowej, podpinając więcej narzędzi i uruchamiając AI częściej” wzmocnisz system, ale tak nie jest

Autorzy wykorzystują raw tokens i tool calls do wyjaśnienia wskaźnika sukcesu zadań, gdzie współczynnik korelacji R² wynosi zaledwie:

・0.33 do

・0.42

W przełożeniu na język drukarni: szczegółowe rejestrowanie historii rozmów z klientami AI, trzykrotne ponawianie obliczeń wyceny czy podpięcie dwóch dodatkowych baz danych – te wszystkie działania „wiele zrobiłem” wyjaśniają tylko około 30-40% końcowego efektu. Pozostałe 60% nie ma nic wspólnego z ilością zużytych zasobów

Porównuję to do szkolenia ucznia. Mistrz może kazać uczniowi wydrukować 200 arkuszy ćwiczeniowych dziennie, ale jeśli po zakończeniu nigdy nie wskaże błędów ani nie wyjaśni, gdzie pasowanie kolorów jest przesunięte, uczeń po wydrukowaniu dziesięciu tysięcy arkuszy będzie na tym samym poziomie. Nie stał się lepszy, stał się tylko bardziej zmęczony

Kluczowym pojęciem w artykule jest Effective Feedback Compute, w skrócie EFC. Oznacza to, że nie każda interakcja się liczy – tylko „skuteczny feedback” sprawia, że AI rzeczywiście czyni postępy

Zdefiniowano w nim cztery warunki skutecznego feedbacku, które odnoszę do realiów drukarni:

・Informative (merytoryczność): feedback dostarcza nowych informacji. Jeśli klient narzeka na wysoką cenę, ale nie mówi, czy chodzi o papier czy wykończenie – taki feedback jest bezwartościowy

・Valid (poprawność): feedback jest wiarygodny, nie jest szumem informacyjnym ani zgadywaniem. Jeśli handlowiec od niechcenia zanotuje „klientowi nie zależy na cenie”, a w rzeczywistości jest na odwrót, taki błędny feedback jest gorszy niż jego brak

・Non-redundant (brak powtórzeń): nie powtarzaj tego, co już wiadomo. Jeśli system zapisał sto razy, że „klient chce papier kredowy 100g”, nie jest to nowa informacja

・Retained (wykorzystanie): to najważniejszy punkt. Czy feedback faktycznie wpłynął na kolejną decyzję? Jeśli handlowiec przekazał poprawną ocenę w grupie, ale nikt nie uwzględnił tego w logice wyceny, to tak, jakby nic nie powiedział

Najważniejsza liczba: w kontrolowanym eksperymencie, przy niezmienionym budżecie mocy obliczeniowej, poprawiono jedynie jakość feedbacku, co przełożyło się na wzrost skuteczności zadań z 27% do 90%

Koszty nie wzrosły ani o grosz, poprawiono tylko skuteczność feedbacku, a wskaźnik sukcesu potroił się. Po przeliczeniu, współczynnik R² wzrósł z:

・0.33 do imponujących

・0.94 oraz

・0.99

To podejście jest w rzeczywistości „świadomym treningiem” (deliberate practice), o którym nauki o uczeniu się mówią od dziesięcioleci: feedback musi być konkretny, poprawny i uwzględniony w następnym ćwiczeniu. Trening bez analizy błędów i wprowadzania poprawek to strata czasu. AI działa tak samo jak ludzie

Znając zasadę, pytanie brzmi: jak wdrożyć tę pętlę w procesach drukarni? Przedstawiam kilka działań, które można podjąć już w tym tygodniu

Po pierwsze, stwórz tabelę „wzorcowych odpowiedzi” (ground truth). Wybierz 20-30 najczęściej zamawianych produktów: katalogi szyte, książki klejone, naklejki, opakowania. Zbierz poprawne numery katalogowe, rodzaje papieru, wykończenia i rozsądne przedziały cenowe. Dopiero gdy wycena AI nie zgadza się z tym zestawieniem, masz „sygnał błędu” do korekty, w przeciwnym razie nawet nie wiesz, że wycena jest błędna

Po drugie, dokumentuj każdy błąd AI, sięgając do jego przyczyny. Nie notuj tylko „błąd wyceny”, lecz: „przeliczono karton 250g jako 200g” lub „zapomniano o koszcie uszlachetnienia folią”. Odpowiada to punktowi Informative – konkret, który pozwala na działanie

Po trzecie, regularnie wprowadzaj poprawki na podstawie błędów. Raz w miesiącu poświęć godzinę, aby przejrzeć przypadki błędnej wyceny czy błędnych odpowiedzi bota z danego miesiąca i zaktualizować prompty lub reguły. To jest właśnie krok Retained – feedback „zamyka się” dopiero wtedy. Historia rozmów, która przechodzi bez analizy, się nie liczy; liczy się uporządkowana wiedza i poprawione reguły

Po czwarte, przy dodawaniu każdej nowej funkcji, sprawdź czwarty punkt EFC. Zanim podepniesz kolejne narzędzie czy automatyczną odpowiedź, zapytaj siebie: czy to naprawdę zmieni przyszłe decyzje AI? Jeśli nie, to tylko palenie pieniędzy i zwiększanie kosztów utrzymania

To samo dotyczy projektowania. Jeśli używasz AI do wspomagania generowania obrazów, poprawek czy pisania ofert, każda uwaga klienta jest sygnałem zwrotnym. Zapisuj konkretnie, „dlaczego klient odrzucił tę wersję” i unikaj tego w następnych propozycjach – wtedy celność wzrośnie. Zostawianie odrzuconych plików bez analizy przyczyn sprawi, że po stu poprawkach będziesz w tym samym miejscu

Niektórzy dostawcy oferują funkcje pamięci, twierdząc, że „AI zapamięta nawyki Twojej firmy” – brzmi świetnie, ale zgadzam się z ostrzeżeniem z artykułu

Architektura pamięci rozwiązuje czwarty, najtrudniejszy punkt: „retain” (utrwalenie), ale „tylko” zapewnia zapamiętanie, nie filtrując poprawności czy powtarzalności pierwszych trzech punktów

Innymi słowy, jeśli wrzucisz do systemu błędne, powtarzające się i nieistotne dane, te „błędne wspomnienia” będą nieustannie wywoływane, co może być bardziej toksyczne niż brak pamięci. Oznacza to, że błędy nie są już jednostkowe, lecz stają się trwałe

Dlatego wdrażając funkcję pamięci, musisz zastosować „bramkę wejściową”: czy ta informacja jest wartościowa, wiarygodna i unikalna? Dopiero wtedy zapisz. Dla drukarni oznacza to: nie pozwól, by niezweryfikowane preferencje klientów, zapisywane przez handlowców, automatycznie stawały się „faktami” systemu

Uczciwie też trzeba przyznać, że ten artykuł nie jest panaceum. Zakresy:

・0.94 do

・0.99

opierają się na idealnych informacjach dostępnych post-factum (tzw. Oracle-EFC), co w rzeczywistych systemach jest teoretycznym sufitem, nieosiągalnym z dnia na dzień. Ponadto sama ocena „czy feedback faktycznie zmienił decyzję” jest trudna. Mimo to, w pełni kupuję ten kierunek

W przyszłości rywalizacja narzędzi AI nie będzie polegać na tym, kto ma więcej funkcji czy dłuższe okna rozmów, lecz na tym, kto sprawi, że każdy feedback zostanie faktycznie wykorzystany. Dobry asystent AI nie ma za zadanie robić więcej, lecz działać jak dobry mistrz – uczyć się czegoś przy każdym kroku

・Zwiększanie mocy obliczeniowej i liczby narzędzi AI wyjaśnia tylko 30-40% efektów (R²: 0.33 do 0.42), pozostałe 60% zależy od jakości feedbacku

・Przy niezmiennej mocy obliczeniowej, poprawa jakości feedbacku może podnieść skuteczność z 27% do 90%. Różnica tkwi w „poprawnym treningu”, a nie w „ilości treningu”

・Skuteczny feedback musi spełniać cztery warunki: merytoryczność, poprawność, brak powtórzeń i realne wykorzystanie – brak czwartego punktu to strata czasu

・Funkcja pamięci AI rozwiązuje tylko problem „zapamiętywania”, nie filtruje błędów. Bez bramki kontrolnej „błędna pamięć” jest bardziej szkodliwa niż brak pamięci

・Cykliczne wprowadzanie poprawionych przypadków błędnej wyceny czy poprawek AI raz w miesiącu to klucz do zwiększania precyzji systemu

Dla drukarni i studiów projektowych prawdziwą lekcją nie jest „czy wdrażać AI”, ale „czy po wdrożeniu istnieje mechanizm analizy”. Większość utyka na pierwszym kroku, traktując wdrożenie narzędzia jako cel. Sugeruję zacząć od małego kroku: wybierz jeden częsty scenariusz, np. wycenę katalogów czy próbne wydruki naklejek, stwórz tabelę 30 wzorcowych odpowiedzi i wyznacz godzinę w miesiącu na analizę błędów AI w celu aktualizacji reguł. Gdy ta pętla zacznie działać sprawnie, rozważ wdrożenie pamięci lub rozszerzenie zakresu. Dla firm oferujących zintegrowane usługi jest to również sposób na długoterminowe związanie się z klientem: dobrze zaprojektowana pętla zwrotna sprawia, że system staje się coraz bardziej dopasowany do potrzeb klienta, zamiast zostać porzuconym po pół roku z powodu braku precyzji

・Agenci również potrzebują „szybkiego feedbacku”: Effective Feedback Compute i świadomy trening agentów