Kāpēc jūsu AI cenu piedāvājumu palīgs kļūst arvien neprecīzāks? Galvenais ir atgriezeniskā saite

Pēdējo mēnešu laikā, apmeklējot klientus, esmu saskāries ar vairākiem mazo un vidējo tipogrāfiju īpašniekiem, kuri uzdod vienu un to pašu jautājumu: pērn ieviestie AI cenu piedāvājumu palīgi un automātiskie klientu apkalpošanas roboti sākumā pārsteidza, taču tagad šķiet, ka tie nav pilnveidojušies, bet dažkārt kļūst vēl neprecīzāki

Šo parādību ļoti skaidri izskaidro nesens pētījums "Scaling Laws for Agent Harnesses via Effective Feedback Compute", kura autori ir Xuanliang Zhang un citi. Oriģinālu es lasīju Wisely Chen ķīniešu valodas kopsavilkumā

Tas tieši kvantificē kādu pretintuitīvu faktu: jūs domājat, ka, palielinot skaitļošanas jaudu, pievienojot vairāk rīku vai palaižot uzdevumus biežāk, AI kļūs spēcīgāks, taču patiesībā tā nenotiek

Pētījumā, izmantojot "raw tokens" un "tool calls", lai izskaidrotu uzdevumu panākumu līmeni, korelācijas koeficients R² bija tikai:

・no 0,33 līdz

・0,42

Tulkojot tipogrāfijas ikdienas valodā: ja padarīsiet AI klientu apkalpošanas sarunu vēsturi detalizētāku, cenu pārrēķināšanas reižu skaitu palielināsiet no vienas uz trim vai pieslēgsiet vēl divas datubāzes – visas šīs "es daudz ko izdarīju" darbības izskaidro tikai aptuveni trīs līdz četras desmitdaļas rezultātu, bet atlikušās sešas desmitdaļas nav atkarīgas no tā, cik daudz resursu esat patērējuši

Es to salīdzinu ar mācekļa apmācību. Meistars liek māceklim dienā nodrukāt divsimt testa lapas, bet pēc drukāšanas nekad nenorāda uz kļūdām un nepaskaidro, kur krāsu reģistrācija ir nobīdījusies – māceklis pēc desmit tūkstošiem izdrukātu lapu paliks tajā pašā līmenī. Viņš nekļuva prasmīgāks, viņš tikai nogura

Pētījuma pamatkoncepciju sauc par "Effective Feedback Compute" jeb saīsināti EFC. Tas nozīmē, ka ne visas mijiedarbības ir nozīmīgas – tikai "efektīva atgriezeniskā saite" ļauj AI patiesi progresēt

Tas definē četrus nosacījumus efektīvai atgriezeniskajai saitei, kurus es pielāgoju tipogrāfijas scenārijam:

・Informative (jābūt saturīgai): atgriezeniskā saite sniedz jaunu informāciju. Ja klients sūdzas, ka cena ir augsta, bet nepaskaidro, vai tas ir dēļ papīra vai pēcapstrādes, šāda atgriezeniskā saite ir bezjēdzīga

・Valid (jābūt pareizai): atgriezeniskajai saitei jābūt ticamai, nevis troksnim vai minējumiem. Ja pārdevējs pavirši piezīmē "šim klientam cena nav svarīga", bet patiesībā ir tieši pretēji, šādas kļūdainas atgriezeniskās saites ievadīšana ir sliktāka nekā nekādas

・Non-redundant (nedrīkst atkārtoties): nestāstiet to, ko jau zināt. Ja sistēma simts reizes fiksē "klients vēlas 100 mārciņu krītpapīru", tajā nav jaunas informācijas

・Retained (jāizmanto): šis ir vissvarīgākais. Vai atgriezeniskā saite patiešām tika ņemta vērā nākamajā lēmumu pieņemšanas reizē? Ja pārdevējs grupā sniedza pareizu vērtējumu, bet neviens to neintegrēja cenu noteikšanas loģikā, tas ir tāpat, kā ja tas nebūtu pateikts

Svarīgākais skaitlis šeit ir šāds: pētījumā tika veikts kontroles eksperiments, kurā, nemainot skaitļošanas budžetu, tika uzlabota tikai atgriezeniskās saites kvalitāte, un uzdevumu panākumu līmenis pieauga no 27% līdz 90%

Izmaksas nepieauga ne par centu, tika tikai padarīta atgriezeniskā saite efektīva, un panākumu līmenis pieauga vairāk nekā trīs reizes. Pārrēķinot, skaidrošanas spēja R² mainījās no:

・0,33 uzreiz uz

・0,94 līdz

・0,99

Šī teorija patiesībā ir tas pats, ko mācību zinātne desmitiem gadu sauc par "mērķtiecīgu praksi" (deliberate practice): atgriezeniskajai saitei jābūt konkrētai, pareizai un jātiek iekļautai nākamajā prakses reizē. Trenēties bez analīzes un analizēt bez uzlabojumiem nozīmē netrenēties vispār. AI šajā ziņā ir tāds pats kā cilvēks

Zinot principu, jautājums ir: kā to patiesi integrēt tipogrāfijas procesā? Es piedāvāju dažus risinājumus, kurus varat uzsākt jau šonedēļ

Pirmkārt, izveidojiet "standarta atbilžu" tabulu. Identificējiet divdesmit vai trīsdesmit visbiežāk pieprasītās preces – katalogs ar skavojumu, grāmata ar līmētu muguriņu, uzlīmes, kartona kastes – un apkopojiet pareizos materiālu kodus, papīru, pēcapstrādi un saprātīgu cenu diapazonu kā "ground truth". Ja AI piedāvātā cena neatbilst šim sarakstam, jums ir "kļūdas signāls", ko labot, citādi jūs pat nezināsiet, ka tā ir nepareiza

Otrkārt, fiksējiet katru AI kļūdu un norādiet tās cēloni. Neatzīmējiet vienkārši "cena nepareiza", bet "tas aprēķināja 250 mārciņu kartonu kā 200 mārciņu" vai "aizmirsa iekļaut lakošanas izmaksas". Tas atbilst "Informative" nosacījumam – jābūt konkrētam, lai varētu rīkoties

Treškārt, periodiski "barojiet" sistēmu ar neveiksmīgiem gadījumiem. Reizi mēnesī veltiet stundu tam, lai, izmantojot šī mēneša AI kļūdainos cenu piedāvājumus vai klientu apkalpošanas atbildes, labotu tā instrukcijas vai noteikumus. Šis solis ir "Retained" – vai atgriezeniskā saite ir "noslēgta", ir redzams tieši šeit. Garām paslīdējušas sarunu vēstures neskaitās – tikai sakārtotas un noteikumu uzlabošanai izmantotas atsauksmes skaitās

Ceturtkārt, pievienojot jebkuru jaunu funkciju, vispirms pārbaudiet to pret EFC ceturto nosacījumu. Ja vēlaties pieslēgt vēl vienu rīku vai atvērt vēl vienu automātisko atbildi, pajautājiet sev: vai tas patiesi mainīs AI nākamo spriedumu? Ja nē, tad pievienošana ir tikai naudas dedzināšana un tehniskās apkopes sloga palielināšana

Tas pats attiecas uz dizaina pusi. Ja izmantojat AI, lai palīdzētu ģenerēt attēlus, labot maketus vai rakstīt piedāvājumus, klienta labojumu ieteikumi ir jūsu atgriezeniskās saites signāls. Konkrēti pierakstiet, "kāpēc klients noraidīja šo versiju", un nākamajā piedāvājumā no tā izvairieties – tikai tā paaugstināsiet savu panākumu līmeni; ja tikai nometīsiet noraidīto failu un neanalizēsiet iemeslu, arī pēc simts labojumiem būsiet tajā pašā vietā

Daži piegādātāji piedāvā "AI atcerēsies jūsu uzņēmuma paradumus" funkcijas, kas izklausās ļoti vilinoši. Taču pētījumā ir brīdinājums, kuram es ļoti piekrītu

Atmiņas arhitektūra atrisina ceturto nosacījumu – visgrūtāko "retain", taču tā "tikai" atrisina spēju atcerēties, nepalīdzot filtrēt, vai pirmie trīs nosacījumi ir pareizi vai nav atkārtojušies

Citiem vārdiem sakot, ja vienuviet saglabāsiet kļūdainas, atkārtotas un trokšņainas atsauksmes, šīs kļūdainās atmiņas tiks atkārtoti izsauktas lietošanai, un to toksicitāte būs lielāka nekā gadījumā, ja atmiņas nebūtu vispār. Tas nozīmē, ka "vienreizēja nepareiza rīcība" tiek pārvērsta par pastāvīgu

Tāpēc, ieviešot jebkuru atmiņas funkciju, tai noteikti jāpievieno "rakstīšanas vārteja": vai šī informācija ir pietiekami saturīga, ticama un neatkārtojas? Tikai tad, kad tā iziet cauri šim filtram, to var saglabāt. Tipogrāfijām tas nozīmē – neļaujiet pārdevēju pavirši fiksētām, nepārbaudītām klientu vēlmēm automātiski kļūt par sistēmas "faktiem"

Jāatzīst arī godīgi, šis pētījums nav brīnumlīdzeklis. Tas:

・no 0,94 līdz

・0,99 līmenis izmanto ideālu informāciju, kur atbilde zināma pēc fakta (pētījumā saukta par Oracle-EFC), ko reālā sistēmā nav iespējams sasniegt, tāpēc tas ir teorētiskais griests, nevis skaitlis, ko iegūsiet jau rīt. Savukārt nosacījums "vai atgriezeniskā saite patiešām mainīja spriedumu" ir grūti novērtējams. Bet pat ar šiem atvieglojumiem es pilnībā atbalstu pamatvirzienu

Nākotnes AI rīku konkurence nebūs par to, kuram ir vairāk funkciju vai garāki tērzēšanas logi, bet par to, kurš spēj nodrošināt, ka katra atsauksme tiek patiesi izmantota. Labs AI palīgs nav tāds, kuru liek vairāk strādāt, bet gan tāds, kas darbojas kā labs meistars, kurš katrā solī patiešām mācās

・AI skaitļošanas jaudas un rīku palielināšana izskaidro tikai trīs līdz četras desmitdaļas panākumu (R²:

・0,33

・0,

・42), pārējās sešas desmitdaļas ir atkarīgas no atgriezeniskās saites kvalitātes

・Nemainot skaitļošanas jaudu, tikai padarot atgriezenisko saiti efektīvu, panākumu līmeni var paaugstināt no 27% līdz 90%, atšķirība ir "pareizā treniņā", nevis "biežākā treniņā"

・Efektīvai atgriezeniskajai saitei vienlaikus jābūt: saturīgai, pareizai, neatkārtotai un izmantotai; ja trūkst ceturtā nosacījuma, tas ir veltīgs treniņš

・AI atmiņas funkcija atrisina tikai "spēju atcerēties", tā nepalīdz filtrēt kļūdas; bez "rakstīšanas vārtejas" kļūdainas atmiņas ir toksiskākas nekā to neesamība

・AI cenu piedāvājumu un maketu labojumu neveiksmīgo gadījumu "barošana" atpakaļ sistēmā reizi mēnesī ir galvenā darbība, kas padara to arvien precīzāku

Tipogrāfijām un dizaina studijām patiesais iedvesmas avots nav "vai vajadzētu ieviest AI", bet gan "vai pēc ieviešanas ir izstrādāts analīzes mehānisms". Vairums cilvēku apstājas pie pirmā soļa un uzskata rīka pieslēgšanu par galamērķi. Iesaku sākt ar vienu mazu lietu: izvēlieties bieži sastopamu scenāriju, piemēram, kataloga cenu piedāvājumu vai uzlīmju drukas parauga pieprasījumu, vispirms izveidojiet trīsdesmit punktu standarta atbilžu tabulu, pēc tam ieplānojiet reizi mēnesī vienu stundu ilgus "barošanas" laikus, kas veltīti tieši AI nepareizo atbilžu gadījumu labošanai un noteikumu pielāgošanai. Kad šis cikls darbojas nevainojami, tad var apsvērt atmiņas funkcijas pievienošanu vai jomas paplašināšanu. Uzņēmumiem, kas sniedz integrētus pakalpojumus, tas ir arī veids, kā ilgtermiņā piesaistīt klientu: ja palīdzat klientam izstrādāt atgriezeniskās saites ciklu, sistēma ar katru lietošanas reizi arvien labāk atbildīs viņa vajadzībām, nevis pēc pusgada tiks izmesta kā neprecīza

・Arī aģentiem nepieciešama "savlaicīga atgriezeniskā saite": Effective Feedback Compute un aģentu "deliberate practice"