Proč váš AI asistent pro tvorbu nabídek funguje stále hůře? Klíčem je zpětná vazba

Během posledních dvou měsíců jsem při návštěvách klientů slyšel od majitelů několika menších tiskáren totéž: AI asistenti pro kalkulace a chatboti pro LINE, kteří byli při zkušebním provozu úžasní, se zdají být po půl roce nepoužitelní a občas dělají ještě horší chyby

Tento jev detailně popisuje nedávný odborný článek s názvem 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》 od autorů, jako je Xuanliang Zhang. Původní text jsem četl v čínském shrnutí od Wiselyho Chena

Přímo kvantifikuje jednu kontraintuitivní skutečnost: myslíte si, že AI zesílí, když jí dodáte více výpočetního výkonu, více nástrojů nebo když ji necháte úlohu řešit vícekrát. Ve skutečnosti se to neděje

Článek používá 'raw tokens' a 'tool calls' k vysvětlení úspěšnosti úloh, přičemž korelační koeficient R² je pouze:

・0,33 až

・0,42

Přeloženo do jazyka tiskáren: pokud u AI zákaznického servisu nastavíte nejpodrobnější historii konverzací, zvýšíte počet přepočtů nabídek z jednoho na tři a napojíte další dvě databáze – tyto kroky, při nichž si říkáte „udělal jsem toho hodně“, vysvětlují pouze 30–40 % výsledku. Zbývajících 60 % nemá nic společného s tím, kolik zdrojů spálíte

Přirovnávám to k učení učně. Mistr nechá učně vytisknout dvě stě zkušebních archů denně, ale nikdy po něm nekontroluje chyby a neupozorní ho na špatný soutisk, takže učeň se nezlepší ani po deseti tisících výtiscích. Není lepší, jen unavenější

Klíčovým konceptem článku je Effective Feedback Compute, zkráceně EFC. Znamená to: ne každá interakce se počítá. AI se skutečně posune vpřed pouze díky „efektivní zpětné vazbě“

Definuje čtyři podmínky, které musí efektivní zpětná vazba splňovat současně. Procházím je jednu po druhé v kontextu tisku:

・Informative (Informativní): Zpětná vazba přináší nové informace. Pokud si zákazník stěžuje, že je nabídka drahá, ale neřekne, zda je to kvůli papíru nebo dokončujícím pracím, je tato zpětná vazba k ničemu

・Valid (Validní): Zpětná vazba musí být věrohodná, ne šum nebo hádání. Pokud obchodník ledabyle poznamená „tomuto zákazníkovi na ceně nezáleží“, a přitom je to přesně naopak, pak zadání takové chybné zpětné vazby škodí více, než kdyby se žádná nedala

・Non-redundant (Neduplicitní): Neopakujte, co už víte. Systém si stokrát zapamatuje „zákazník chce 100g křídový papír“, ale to ve skutečnosti žádná nová informace není

・Retained (Zohledněná): Nejdůležitější bod. Byla zpětná vazba skutečně použita v dalším rozhodování? Obchodník ve skupině uvedl správný úsudek, ale nikdo ho nezapracoval do kalkulační logiky – to je stejné, jako by nic neřekl

Nejdůležitější čísla jsou zde: autoři provedli kontrolovaný experiment, při kterém při zachování stejného výpočetního rozpočtu pouze zvýšili kvalitu zpětné vazby. Úspěšnost úloh vzrostla z 27 % na 90 %

Náklady se nezvýšily ani o haléř, stačilo zpětnou vazbu zefektivnit a úspěšnost vzrostla více než trojnásobně. Po přepočtu vzrostla vysvětlující síla R² z:

・0,33 na

・0,94 až

・0,99

Tato teorie je vlastně jen to, co vědy o učení desítky let nazývají „záměrným tréninkem“ (deliberate practice): zpětná vazba musí být konkrétní, správná a musí být použita v dalším tréninku. Pokud trénujete, ale neanalyzujete, nebo analyzujete, ale nic nezměníte, je to jako byste netrénovali vůbec. AI funguje stejně jako lidé

Když známe princip, otázka zní: jak tuto smyčku skutečně napojit na tiskový proces? Zde je několik kroků, které můžete udělat ještě tento týden

Za prvé, vytvořte si tabulku „standardních odpovědí“. Najděte 20–30 nejčastěji poptávaných položek za poslední půlrok: šitá vazba V1, lepená vazba V2, samolepky, papírové krabičky. Uspořádejte správná čísla položek, papíry, dokončovací práce a rozumné cenové rozpětí do tzv. ground truth (referenční pravdy). Pokud se cena AI neshoduje s tímto seznamem, máte signál „správně/špatně“ pro opravu, jinak nepoznáte, kdy počítá špatně

Za druhé, u každé chyby AI si udělejte záznam a zaměřte se na příčinu. Nezapisujte jen „chybná kalkulace“, ale „převedla 250g karton na 200g“ nebo „zapomněla započítat cenu laminace“. To odpovídá bodu Informative – musí to být konkrétní, aby se s tím dalo pracovat

Za třetí, pravidelně zpětně vkládejte případy selhání. Jednou za měsíc věnujte hodinu analýze případů, kdy AI špatně kalkulovala nebo odpověděla, a upravte její prompt nebo pravidla. To je fáze Retained – zda je smyčka uzavřená, poznáte podle toho, zda se zpětná vazba skutečně použila. Historie konverzací, která se jen tak „vznáší“, se nepočítá; počítá se až to, co je utříděno a co vedlo ke zlepšení pravidel

Za čtvrté, před přidáním každé funkce si ji prověřte podle čtvrtého bodu EFC. Pokud chcete připojit další nástroj nebo automatickou odpověď, zeptejte se: skutečně to změní příští rozhodování AI? Pokud ne, pak je to jen vyhazování peněz a zvyšování nároků na údržbu

Totéž platí pro design. Pokud používáte AI k tvorbě grafiky, úpravám návrhů nebo psaní nabídek, zpětná vazba od zákazníka je vaším signálem. Pokud si konkrétně zaznamenáte, „proč zákazník tuto verzi vrátil“, a při příštím návrhu se tomu vyhnete, vaše úspěšnost vzroste. Pokud budete soubory s odmítnutými návrhy jen odkládat a nebudete analyzovat důvody, můžete jich udělat sto a budete stále na stejném místě

Někteří dodavatelé propagují funkce typu „AI si zapamatuje zvyky vaší firmy“, což zní lákavě. Článek ale přináší varování, se kterým se ztotožňuji

Paměťová architektura řeší nejtěžší čtvrtý bod ze čtyř podmínek – „retain“. Ale řeší „jen“ to, že si AI pamatuje, nepomůže vám odfiltrovat, zda jsou informace z prvních tří bodů správné nebo zda se neopakují

Jinými slovy, pokud do systému nahrajete chybnou, duplicitní nebo zašuměnou zpětnou vazbu, bude tato chybná paměť opakovaně používána a její toxicita bude horší než absence paměti. Znamená to, že chybu typu „čím dál horší“ povýšíte z jednorázové záležitosti na trvalou

Proto při zavádění jakékoli funkce paměti musíte mít „vstupní bránu“: Je tato informace dostatečně přínosná, důvěryhodná a není duplicitní? Až po ověření ji uložte. Pro tiskárny to znamená: nenechte obchodníky, aby si nahodile zapisovali neověřené preference zákazníků, které by se automaticky staly „faktickou pravdou“ systému

Musím být upřímný, tento článek není všelék. To číslo:

・0,94 na

・0,99 (horní limit) využívá ideální informace známé až zpětně (v článku označované jako Oracle-EFC), což reálný systém nedokáže. Je to tedy teoretický strop, ne číslo, kterého dosáhnete zítra. Navíc bod „zda zpětná vazba skutečně změnila rozhodování“ je sám o sobě těžko posouditelný. I přes tyto výhrady však základní směr plně podporuji

Konkurence mezi AI nástroji v budoucnu nebude o tom, kdo nabízí více funkcí nebo kdo má delší dialogové okno, ale o tom, kdo dokáže zajistit, aby byla každá zpětná vazba skutečně využita. Dobrý AI asistent není ten, který toho udělá víc, ale ten, který se – stejně jako dobrý učeň – naučí něco nového při každém kroku

・Navýšení výpočetního výkonu a nástrojů AI vysvětluje pouze 30–40 % výsledků (R²:

・0,33

・0

・42), zbývajících 60 % závisí na kvalitě zpětné vazby

・Při stejném výkonu stačí zefektivnit zpětnou vazbu a úspěšnost vzroste z 27 % na 90 %. Rozdíl je v „trénovat správně“, ne „trénovat hodně“

・Efektivní zpětná vazba musí být: informativní, správná, neduplicitní a zohledněná. Bez čtvrtého bodu je trénink zbytečný

・Funkce AI paměti řeší pouze „zapamatování“, nefiltruje chyby; bez vstupní brány je chybná paměť toxičtější než žádná

・Pravidelné měsíční zpětné vkládání případů selhání u kalkulací a úprav je klíčem k tomu, aby se AI stále zlepšovala

Pro tiskárny a designová studia není skutečným ponaučením otázka „zda zavést AI“, ale „zda po zavedení existuje mechanismus pro vyhodnocení“. Většina lidí se zastaví v prvním kroku a považuje připojení nástroje za cíl. Doporučuji začít malou věcí: vyberte si jeden frekventovaný scénář, např. kalkulace katalogů nebo poptávky po vzorcích samolepek. Nejdříve si vytvořte tabulku třiceti standardních odpovědí a poté si naplánujte měsíční hodinu na vkládání zpětné vazby, kde budete analyzovat případy, kdy AI odpověděla špatně, a opravovat pravidla. Jakmile tato smyčka poběží hladce, zvažte přidání paměťových funkcí nebo rozšíření rozsahu. Pro dodavatele integrovaných služeb je to také způsob, jak si dlouhodobě udržet klienta: pokud mu pomůžete navrhnout smyčku zpětné vazby, systém bude stále více odpovídat jeho potřebám, místo aby byl po půl roce vyřazen jako nepřesný

・I agenti potřebují „včasnou zpětnou vazbu“: Effective Feedback Compute a záměrný trénink agentů