Защо вашият AI помощник за оферти става все по-неточен с времето? Ключът е в обратната връзка

През последните месеци посещавах клиенти и много собственици на малки и средни печатници ми задаваха един и същ въпрос: въведохме AI помощник за оферти и чатбот за автоматични отговори в LINE миналата година – тогава бяхме впечатлени, но сега не усещаме прогрес, а понякога грешките стават дори по-абсурдни

Това явление е обяснено изчерпателно в скорошна статия, озаглавена «Scaling Laws for Agent Harnesses via Effective Feedback Compute», написана от Xuanliang Zhang и колеги. Аз се запознах с оригиналния текст чрез обобщението на Wisely Chen

Тя директно количествено оценява един контраинтуитивен факт: мислите си, че като «давате повече изчислителна мощ, добавяте повече инструменти и изпълнявате задачите по-често», AI ще стане по-силен, но всъщност не става така

Статията използва сурови токени и извиквания на инструменти (tool calls), за да обясни успеваемостта на задачите, като коефициентът на корелация R² е само:

・0.33 до

・0.42

Преведено на езика на печатницата: дори да направите дневниците на разговорите с AI най-детайлни, да увеличите броя на преизчисленията на офертите от веднъж на три пъти или да свържете още две бази данни, тези действия от типа «направих много» обясняват само три до четиридесет процента от резултата, а останалите шестдесет процента нямат нищо общо с това колко ресурси хабите

Бих сравнил това с обучението на чирак. Ако един майстор кара чирака си да отпечатва по двеста листа на ден, но никога не му посочва грешките или не му казва къде напасването на цветовете е криво, чиракът ще остане на същото ниво дори след десет хиляди отпечатъка. Той не е станал по-добър, просто се е уморил повече

Основната концепция в статията се нарича Effective Feedback Compute или съкратено EFC. Това означава, че не всяко взаимодействие се брои – само «ефективната обратна връзка» позволява на AI наистина да се подобри

Статията дефинира ефективната обратна връзка чрез четири условия, които ще приложа към сценария в печатницата:

・Информативна (Informative): Обратната връзка носи нова информация. Ако клиентът се оплаче, че офертата е скъпа, но не уточни дали цената е висока заради хартията или заради довършителните работи, това е безполезна обратна връзка

・Валидна (Valid): Обратната връзка е достоверна, а не шум или предположения. Ако търговският представител отбележи набързо «този клиент не се интересува от цената», а се окаже точно обратното, такава погрешна обратна връзка е по-лоша, отколкото ако изобщо липсва

・Неповтаряща се (Non-redundant): Не повтаряйте това, което вече е известно. Ако системата е записала сто пъти «клиентът иска 100-паунд хартия тип куше», в това няма нова информация

・Запазена (Retained): Най-важният момент. Дали обратната връзка наистина се прилага при вземането на следващото решение? Ако служителят е направил правилна преценка в груповия чат, но тя не е била включена в логиката на офертите, това е все едно да не е казано нищо

Най-критичната цифра е тук: авторите са направили сравнителен експеримент, при който без промяна в изчислителния бюджет, само чрез подобряване на качеството на обратната връзка, успеваемостта на задачите се е увеличила от 27% на 90%

Без никакви допълнителни разходи, само чрез превръщането на обратната връзка в ефективна, успеваемостта се е утроила. След преизчисляване, коефициентът на обяснимост R² скочи от:

・0.33 директно до

・0.94 до

・0.99

Този подход всъщност е това, което науката за ученето нарича «съзнателна практика» (deliberate practice) от десетилетия: обратната връзка трябва да бъде конкретна, правилна и да бъде приложена в следващото упражнение. Да тренираш без да преглеждаш грешките си или да ги преглеждаш без да се коригираш, е все едно да не тренираш изобщо. AI работи по същия начин като хората

След като познаваме принципа, въпросът става: как да затворим този цикъл в работния процес на печатницата? Ето няколко стъпки, които можете да предприемете още тази седмица

Първо, създайте таблица със «стандартни отговори». Идентифицирайте двадесетте или тридесетте най-често предлагани артикула през последната половин година: каталози с телбод, книги с лепене, стикери, кутии от картон, и организирайте правилните продуктови кодове, видове хартия, довършителни работи и разумни ценови диапазони в един документ (ground truth). Само ако знаете каква е правилната оферта, можете да засечете грешката на AI, иначе няма да разберете, че е сгрешил

Второ, записвайте всяка грешка на AI и я анализирайте до корена. Не записвайте просто «сгреши при офертата», а посочете «изчисли 250-паунд картон като 200-паунд» или «забрави да включиш цената за ламиниране». Това съответства на условието за информативност – трябва да бъде достатъчно конкретно, за да се предприеме действие

Трето, периодично връщайте неуспешните случаи обратно в системата. Отделяйте по един час всеки месец, за да прегледате случаите, в които AI е дал грешна оферта или е отговорил погрешно на клиент, и коригирайте неговите промптове (prompts) или правила. Тази стъпка е самото «запазване» (Retained) – обратната връзка е затворена само ако е реално приложена. Дневниците на разговорите, които просто стоят архивирани, не се броят; те се броят само ако са систематизирани и използвани за подобряване на правилата

Четвърто, преди добавянето на каквато и да е нова функционалност, я подложете на четвъртото условие на EFC. Ако искате да добавите нов инструмент или автоматичен отговор, запитайте се: това наистина ли ще промени следващото решение на AI? Ако не, добавянето му е чиста загуба на пари и увеличаване на натоварването по поддръжката

Същото важи и за дизайна. Ако използвате AI за генериране на изображения, корекции на проекти или писане на предложения, коментарите на клиента при всяка модификация са вашият сигнал за обратна връзка. Записвайте конкретно защо клиентът е отхвърлил дадена версия и избягвайте тези причини при следващото предложение – тогава процентът на успеваемост ще се повиши. Ако просто оставяте отхвърлените файлове без да анализирате причините, можете да направите и сто корекции, но ще тъпчете на едно място

Някои доставчици предлагат функции за памет като «AI ще запомни навиците на вашата компания», което звучи прекрасно. Но статията съдържа предупреждение, с което съм напълно съгласен

Архитектурата на паметта решава четвъртото условие, което е най-трудно – «запазването» (retain), но тя «решава само» запаметяването, без да ви помага да филтрирате дали информацията е правилна или дали се повтаря (първите три условия)

С други думи, ако натрупате погрешна, повтаряща се или шумна обратна връзка, тези погрешни спомени ще бъдат извиквани отново и отново, а токсичността им ще бъде по-голяма, отколкото ако няма памет. Това буквално разширява «грешките, ставащи все по-абсурдни» от единични случаи до перманентно състояние

Затова въвеждането на каквато и да е функция за памет трябва да бъде придружено от «входяща защитна врата» (write gate): дали тази информация е полезна, достоверна и уникална? Ако да, едва тогава я запишете. За печатниците това означава да не позволявате на непроверени клиентски предпочитания, записани набързо от търговците, автоматично да се превръщат във «факти» за системата

Трябва също да бъда честен, тази статия не е магическа формула. Онова покачване от:

・0.94 до

・0.99

е постигнато с идеална информация, известна едва след събитието (в статията се нарича Oracle-EFC), която реалните системи не могат да постигнат, така че това е теоретичен таван, а не цифра, която ще постигнете утре. А условието «дали обратната връзка наистина променя решенията» само по себе си е трудно за оценяване. Но дори и с тези уговорки, напълно подкрепям основната насока

Бъдещата конкуренция между AI инструментите няма да бъде кой предлага повече функции или кой има по-дълги чат прозорци, а кой ще позволи всяка обратна връзка да бъде наистина използвана. Един добър AI помощник не е такъв, който върши повече работа, а такъв, който подобно на добрия чирак, научава нещо ново с всяка стъпка

・Добавянето на изчислителна мощ и инструменти към AI обяснява само 30-40% от успеха (R²:

・0.33 до

・0.42), останалите 60% зависят от качеството на обратната връзка

・При същата изчислителна мощ, превръщането на обратната връзка в ефективна може да повиши успеваемостта от 27% на 90%. Разликата е в «правилната тренировка», а не в «повече тренировки»

・Ефективната обратна връзка трябва едновременно да бъде: информативна, правилна, неповтаряща се и приложена. Липсата на четвъртото условие прави цялото усилие безполезно

・Функцията за памет в AI решава само «запаметяването», без да филтрира грешките; ако не инсталирате «защитна врата» при запис, грешните спомени са по-токсични от липсата на памет

・Ежемесечното връщане на грешните случаи при AI офертите и корекциите на проекти обратно в системата е ключовото действие за постигане на все по-висока точност

За печатниците и дизайнерските студия истинското вдъхновение не е в това «дали да въведат AI», а «дали има механизъм за преглед на резултатите след въвеждането му». Повечето хора засядат на първата стъпка и спират дотук, мислейки, че инсталирането на инструмента е крайната точка. Препоръчвам да започнете с малка стъпка: изберете сценарий с висока честота, например оферти за каталози или запитвания за мостри на стикери, първо изградете таблица със стандартни отговори от тридесет позиции, а след това планирайте един час за преглед всеки месец, посветен на коригиране на правилата на базата на грешните отговори на AI. След като този цикъл се утвърди, помислете за добавяне на функции за памет или разширяване на обхвата. За доставчиците на комплексни услуги това е и начин за дългосрочно обвързване с клиента: ако проектирате ефективно цикъл на обратна връзка за клиента, системата ще става все по-съобразена с нуждите му с течение на времето, вместо да бъде изхвърлена след половин година като неточна

・Agent-ите също се нуждаят от «навременна обратна връзка»: Effective Feedback Compute и съзнателната практика (deliberate practice) на Agent-ите