Miksi AI-tarjousapurisi muuttuu ajan myötä huonommaksi? Ratkaisu on palautteessa

Olen viimeisten parin kuukauden aikana vieraillut monien pienten ja keskisuurten painotalojen luona, ja omistajat kysyvät samaa asiaa: "Viime vuonna käyttöön otettu AI-tarjousapuri ja automaattinen LINE-asiakaspalvelu olivat aluksi vaikuttavia, mutta miksi ne eivät tunnu kehittyvän, ja toisinaan virheet vain pahenevat?"

Tämä ilmiö selitetään perusteellisesti tuoreessa tutkimusartikkelissa Scaling Laws for Agent Harnesses via Effective Feedback Compute. Kirjoittajina ovat Xuanliang Zhang ja kumppanit. Luin itse aiheesta Wisely Chenin kiinankielisen yhteenvedon

Se kvantifioi suoraan epäintuitiivisen asian: luulet, että AI vahvistuu antamalla sille lisää laskentatehoa, enemmän työkaluja ja useampia ajokertoja, mutta todellisuudessa näin ei tapahdu

Tutkimuksessa käytettiin raaka-aineena tokeneita ja työkalukutsuja tehtävän onnistumisasteen selittämiseen, mutta korrelaatiokerroin R² oli vain:

・0,33

・0,42

Painotalon kielelle käännettynä: jos säädät AI-asiakaspalvelun lokitiedot mahdollisimman yksityiskohtaisiksi, nostat tarjouksen uudelleenlaskentakerrat kerrasta kolmeen tai kytket järjestelmään kaksi tietokantaa lisää, nämä "tein paljon töitä" -toimenpiteet selittävät vain noin 30–40 % lopputuloksesta. Loput 60 % eivät riipu siitä, kuinka paljon resursseja poltat

Vertaan tätä oppipojan kouluttamiseen. Mestari käskee oppipoikaa painamaan 200 harjoitusarkkia päivässä, mutta ei koskaan huomauta virheistä tai kerro, missä kohdassa väri ei täsmää. Oppipoika painaa 10 000 arkkia, mutta on yhä samalla tasolla. Hänestä ei tullut parempaa, hän vain väsyi

Tutkimuksen ydinkonsepti on Effective Feedback Compute, eli lyhyemmin EFC. Se tarkoittaa, etteivät kaikki vuorovaikutukset ole merkityksellisiä: vain "tehokas palaute" saa tekoälyn todella kehittymään

Se määrittelee tehokkaan palautteen täyttävän samanaikaisesti neljä ehtoa. Sovellan niitä tässä painoprosessiin:

・Informatiivinen (sisällökäs): Palaute tuo uutta tietoa. Jos asiakas sanoo tarjouksen olevan kallis, mutta ei kerro, johtuuko se paperista vai viimeistelystä, palaute on hyödytöntä

・Validi (oikea): Palaute on luotettavaa, ei kohinaa tai arvailua. Jos myyjä kirjaa ohi mennen "asiakas ei välitä hinnasta", vaikka todellisuudessa hän välittää, väärän tiedon syöttäminen on haitallisempaa kuin se, ettei palautetta annettaisi lainkaan

・Ei-toistuva (uniikki): Älä toista jo tiedossa olevaa asiaa. Jos järjestelmä on tallentanut 100 kertaa tiedon "asiakas haluaa 100-grammaista päällystettyä paperia", se ei tuo uutta informaatiota

・Hyödynnetty (retained): Tämä on tärkein kohta. Onko palaute todella otettu huomioon seuraavassa päätöksessä? Jos myyjä mainitsee oikean arvion tiimin keskustelussa, mutta sitä ei kirjata tarjouslogiikkaan, se on kuin sitä ei olisi sanottukaan

Tärkein luku on tässä: tutkimuksessa tehtiin vertailukoe, jossa laskentabudjetti pysyi samana, mutta pelkästään palautteen laatua parantamalla tehtävän onnistumisaste nousi 27 %:sta 90 %:iin

Kustannuksia ei tullut senttiäkään lisää, vain palautteesta tehtiin tehokasta, ja onnistumisaste kolminkertaistui. Uudelleenlaskennan jälkeen selitysaste R² nousi:

・0,33

・0,94

・0,99

Tämä teoria on itse asiassa oppimistieteessä vuosikymmeniä tunnettu "tietoinen harjoittelu" (deliberate practice): palautteen on oltava konkreettista, oikeaa ja se on otettava käyttöön seuraavassa harjoituksessa. Harjoittelu ilman analyysia tai analyysi ilman korjaavia toimia tarkoittaa, ettei harjoittelua ole tapahtunut. AI toimii täsmälleen samoin kuin ihminen

Kun periaate on ymmärretty, kysymys kuuluu: miten tämä kehä kytketään painoprosessiin? Tässä on muutamia käytännön toimia, jotka voit aloittaa jo tällä viikolla

Ensin, luo "oikeiden vastausten" vertailutaulukko. Etsi 20–30 yleisintä tuotetta, joita olet tarjonnut viimeisen puolen vuoden aikana – satulaniitatut esitteet, liimaselkäiset kirjat, tarrat ja pakkaukset – ja kerää oikeat tuotenumerot, paperitiedot, viimeistelyt ja kohtuulliset hintahaarukat pohjatiedoksi (ground truth). Jos AI:n antama tarjous ei täsmää näihin, sinulla on "virhesignaali", jolla korjata tilanne. Muuten et edes tiedä, jos se laskee väärin

Toiseksi, jätä merkintä aina, kun AI tekee virheen, ja kirjaa syy. Älä kirjaa vain "tarjous meni väärin", vaan "se laski 250 g kartongin 200 g:ksi" tai "se unohti viimeistelykustannukset". Tämä vastaa kohtaa "Informatiivinen"; sen on oltava riittävän konkreettinen toimenpiteitä varten

Kolmanneksi, syötä epäonnistumiset järjestelmään säännöllisesti. Käytä kerran kuukaudessa tunti niiden tapausten läpikäymiseen, joissa AI antoi väärän tarjouksen tai vastasi väärin, ja korjaa sen ohjeistusta tai sääntöjä. Tämä vaihe on "Hyödynnetty" (Retained); palautekehä sulkeutuu vasta tässä. Ohimenevät keskustelulokit eivät merkitse mitään; vasta kun ne on analysoitu ja sääntöjä on muutettu, ne lasketaan

Neljänneksi, ennen uuden toiminnon lisäämistä, kysy itseltäsi EFC:n neljäs kohta: muuttaako se oikeasti AI:n seuraavaa päätöstä? Jos ei, sen lisääminen on vain rahan polttamista ja ylläpitotaakan lisäämistä

Tämä koskee myös suunnittelua. Jos käytät AI-apua kuvien luontiin, vedosten muokkaukseen tai ehdotusten kirjoittamiseen, jokainen asiakkaan muutostoive on palautesignaali. Kirjaa ylös, miksi asiakas hylkäsi kyseisen version, ja vältä sitä seuraavassa ehdotuksessa; silloin osumatarkkuutesi kasvaa. Jos vain jätät hylätyt tiedostot huomiotta analysoimatta syitä, muutat versiota sata kertaa ja olet silti lähtöpisteessä

Jotkut toimittajat mainostavat muistitoimintoja tyyliin "AI muistaa yrityksesi tavat", mikä kuulostaa houkuttelevalta. Tutkimuksessa on kuitenkin huomio, jonka allekirjoitan täysin

Muistiarkkitehtuuri ratkaisee neljästä ehdosta vaikeimman, eli "hyödynnetyn" (retain), mutta se vain muistaa, eikä auta suodattamaan sitä, ovatko kolme ensimmäistä ehtoa oikein vai onko tieto toistuvaa

Toisin sanoen, jos tallennat väärää, toistuvaa ja kohinaista palautetta, näitä virheellisiä muistikuvia kutsutaan esiin kerta toisensa jälkeen, mikä on myrkyllisempää kuin se, ettei muistia olisi lainkaan. Se vain vahvistaa "yhä pahempia virheitä" yksittäisestä tapauksesta pysyväksi ongelmaksi

Siksi minkä tahansa muistitoiminnon käyttöön ottamiseen on liityttävä "kirjoitusportti": Onko tämä tieto sisällökästä, luotettavaa ja uniikkia? Vasta kun se läpäisee tämän, se tallennetaan. Painotalolle tämä tarkoittaa, ettei myyjän kiireessä kirjaamia tai tarkistamattomia asiakastoiveita saa automaattisesti tallentaa "faktoina"

On myös oltava rehellinen: tämä artikkeli ei ole ihmelääke. Luvut:

・0,94

・0,99

perustuvat teoreettiseen ihanteelliseen tietoon, jossa vastaus tiedetään jälkikäteen (tutkimuksessa "Oracle-EFC"). Todellinen järjestelmä ei tähän pysty, joten ne ovat teoreettinen katto, ei saavutettavissa oleva luku huomenna. Lisäksi "onko palaute todella muuttanut päätöstä" on vaikea arvioida. Siitä huolimatta kannatan tätä ydinsuuntaa

AI-työkalujen tulevaisuuden kilpailu ei ratkea sillä, kenellä on eniten ominaisuuksia tai pisimmät keskustelut, vaan sillä, kuka pystyy hyödyntämään jokaisen palautteen. Hyvä AI-apulainen ei tee enemmän töitä, vaan on kuin hyvä mestari: se oppii jotain jokaisesta työvaiheesta

・Lisää laskentatehoa tai työkaluja AI:lle selittää vain 30–40 % tuloksista (R²:

・0,33

・0

・42), loput 60 % riippuvat palautteen laadusta

・Laskentatehon pysyessä samana palautteen tehostaminen nostaa onnistumisasteen 27 %:sta 90 %:iin; ero on "oikein harjoittelussa", ei "paljon harjoittelussa"

・Tehokkaan palautteen on oltava samanaikaisesti: informatiivinen, oikea, toistumaton ja hyödynnetty. Neljännen ehdon puuttuminen tarkoittaa, että harjoittelu on turhaa

・AI-muistitoiminnot ratkaisevat vain "muistamisen", mutta eivät suodata virheitä. Ilman kirjoitusporttia virheelliset muistikuvat ovat myrkyllisempiä kuin se, ettei muistia olisi lainkaan

・AI-tarjousten ja vedosten epäonnistumisten syöttäminen järjestelmään kerran kuukaudessa on ratkaiseva teko, joka tekee siitä tarkemman

Painotaloille ja suunnittelutoimistoille todellinen oivallus ei ole "pitäisikö AI ottaa käyttöön", vaan "onko käytössä mekanismeja arviointiin". Useimmat jäävät ensimmäiseen askeleeseen ja pitävät työkalun käyttöönottoa päätepisteenä. Suosittelen aloittamaan pienesti: valitse yksi toistuva tilanne, kuten esitetarjous tai tarratulostuskysely, luo 30 kohdan vertailutaulukko oikeista vastauksista ja järjestä tunnin kuukausittainen istunto, jossa korjaat AI:n tekemiä virheitä. Kun tämä kehä toimii, voit harkita muistitoimintoja tai laajempaa käyttöä. Integraatiopalveluita tarjoaville yrityksille tämä on myös tapa sitouttaa asiakas pitkäaikaisesti: kun autat asiakasta suunnittelemaan palautekehän, järjestelmä vastaa yhä paremmin hänen tarpeisiinsa sen sijaan, että se hylättäisiin epätarkkana puolen vuoden jälkeen

・Myös agentit tarvitsevat "nopeaa palautetta": Effective Feedback Compute ja agenttien "deliberate practice"