Hvorfor blir AI-tilbudsassistenten din dårligere med tiden? Svaret ligger i tilbakemeldinger

I løpet av de siste par månedene har jeg besøkt flere mellomstore trykkerier, hvor ledere spør om det samme: AI-tilbudsassistenten og kundeservice-roboten som svarer på LINE, som var imponerende i starten, virker ikke å ha hatt noen fremgang – og noen ganger gjør de feil som er verre enn før

Dette fenomenet forklares grundig i en nylig artikkel med tittelen «Scaling Laws for Agent Harnesses via Effective Feedback Compute», skrevet av Xuanliang Zhang og andre. Jeg leste den kinesiske oppsummeringen av Wisely Chen

Den kvantifiserer noe kontraintuitivt direkte: Du tror at AI-en blir sterkere ved å «gi den mer regnekraft, flere verktøy og la den kjøre flere ganger», men det er faktisk ikke tilfelle

Artikkelen bruker rå-tokens og verktøykall for å forklare oppgavesuksessraten, hvor korrelasjonskoeffisienten R² bare er:

・0,33 til

・0,42

Oversatt til trykkeribransjen: Å detaljere dialogloggen for AI-kundeservice, øke antall prisberegninger fra én til tre, eller koble til to ekstra databaser – disse handlingene hvor du «gjør mye» – forklarer sannsynligvis bare 30-40 % av resultatene. De resterende 60 % har ingenting å gjøre med hvor mye ressurser du brenner av

Jeg sammenligner dette med opplæring av lærlinger. En mester lar lærlingen trykke to hundre prøver om dagen, men peker aldri ut feil eller forklarer hvorfor fargene ikke stemmer. Selv etter ti tusen trykk vil lærlingen være på samme nivå. Han har ikke blitt dyktigere, bare mer sliten

Kjernekonseptet i artikkelen kalles Effective Feedback Compute, forkortet EFC. Det betyr at ikke all interaksjon teller; kun «effektiv tilbakemelding» kan få AI-en til å faktisk forbedre seg

Den definerer at effektiv tilbakemelding må oppfylle fire kriterier samtidig. Jeg går gjennom dem ett etter ett med et trykkeriscenario:

・Informativ (må inneholde substans): Tilbakemeldingen bringer ny informasjon. Hvis kunden klager på prisen, men ikke sier om det er papiret eller etterbehandlingen som er for dyrt, er tilbakemeldingen verdiløs

・Valid (må være korrekt): Tilbakemeldingen er troverdig, ikke støy eller gjetninger. Hvis en selger tilfeldig noterer at «denne kunden bryr seg ikke om pris», men det viser seg å være feil, er det verre å mate inn denne feilaktige tilbakemeldingen enn å la være

・Ikke-redundant (ikke gjentakende): Ikke si det samme du allerede vet. Hvis systemet har registrert hundre ganger at «kunden vil ha 100 grams bestrøket papir», er det ingen ny informasjon

・Retained (må tas i bruk): Dette er det viktigste punktet. Har tilbakemeldingen faktisk påvirket neste beslutning? Hvis selgeren gir en korrekt vurdering i gruppen, men ingen fører den inn i prislogikken, er det som om det aldri ble sagt

Det mest kritiske tallet er her: Artikkelen utførte et kontrollert eksperiment hvor regnekraftbudsjettet forble uendret, men de forbedret kun kvaliteten på tilbakemeldingene. Oppgavesuksessraten økte fra 27 % til 90 %

Kostnadene økte ikke med én krone; de bare gjorde tilbakemeldingene effektive, og suksessraten hoppet tre ganger. Etter en ny beregning økte forklaringskraften R² fra:

・0,33 rett til

・0,94 til

・0,99

Dette er i praksis det læringsvitenskapen har kalt «bevisst trening» (deliberate practice) i flere tiår: Tilbakemeldinger må være konkrete, korrekte og implementeres i neste treningsrunde. Trening uten refleksjon, eller refleksjon uten endring, er bortkastet tid. AI fungerer likt som mennesker

Når man kjenner prinsippet, blir problemet: Hvordan kobler man dette i praksis i trykkeprosessen? Her er noen tiltak dere kan starte med allerede denne uken

For det første: Bygg en referanseliste med «fasitsvar». Finn de 20-30 produktene dere priser oftest – brosjyrer med stifting, trådbindte bøker, klistremerker, esker – og samle korrekte varenumre, papirtyper, etterbehandling og fornuftige prisintervaller i en «ground truth»-liste. Hvis AI-ens pris ikke stemmer med denne listen, har du et signal om at noe er galt; ellers vet du ikke engang om den regner feil

For det andre: Loggfør hver gang AI-en gjør en feil, og noter rotårsaken. Ikke bare noter «feil pris», men «den beregnet 250 grams kartong som 200 gram» eller «glemte kostnaden for lakk». Dette tilsvarer punktet om å være informativ; det må være konkret nok til å kunne handles ut fra

For det tredje: Bruk feilaktige eksempler aktivt. Sett av en time hver måned til å gå gjennom tilfellene der AI-en ga feil pris eller svarte feil på kundeservice, og oppdater instruksene (prompts) eller reglene. Dette er punktet om å bli tatt i bruk (Retained). Tilbakemeldingen er bare «lukket» hvis den faktisk fører til en endring i reglene

For det fjerde: Før du legger til en ny funksjon, sjekk den mot EFCs fjerde regel. Vil dette verktøyet faktisk endre AI-ens neste beslutning? Hvis ikke, er det bare bortkastede penger og økt vedlikehold

Det samme gjelder for designarbeid. Hvis du bruker AI til å assistere med bildeproduksjon, endringer eller utarbeidelse av tilbud, er kundens endringsønsker din tilbakemeldingssignal. Noter spesifikt hvorfor kunden returnerte denne versjonen, så vil treffsikkerheten øke neste gang. Å bare legge fra seg returfiler uten å analysere årsaken, betyr at du står på stedet hvil, selv etter hundre versjoner

Noen leverandører markedsfører minnefunksjoner som «AI som husker bedriftens vaner», noe som høres flott ut. Men artikkelen har en advarsel her som jeg er helt enig i

Minnearkitekturen løser det vanskeligste av de fire kriteriene, nemlig det fjerde («Retained»), men den løser «bare» evnen til å huske, uten å hjelpe deg med å filtrere om informasjonen er korrekt eller redundant (punkt 1, 2 og 3)

Med andre ord: Hvis du mater inn feilaktige, gjentakende eller støyende tilbakemeldinger i systemet, vil disse falske minnene bli hentet frem og brukt gjentatte ganger, noe som er mer giftig enn å ikke ha minne i det hele tatt. Det forstørrer feilene fra enkelthendelser til permanente mønstre

Derfor, ved innføring av minnefunksjoner, må du ha en «skrivesluse»: Er denne informasjonen lærerik, troverdig og ikke-redundant? Først da skal den lagres. For trykkerier betyr dette: Ikke la selgernes uformelle, ubekreftede kundepreferanser automatisk bli systemets «fakta»

Jeg må også være ærlig: Denne artikkelen er ingen mirakelkur. Den øvre grensen på:

・0,94 til

・0,99

bruker ideell informasjon hvor man kjenner svaret på forhånd (artikkelen kaller det Oracle-EFC). Dette er umulig i et ekte system, så det er en teoretisk øvre grense. Og selve punktet om at «tilbakemeldingen må faktisk endre beslutningen» er i seg selv vanskelig å måle. Men selv med disse forbeholdene, støtter jeg kjernedirektivet fullt ut

Fremtidens konkurranse innen AI-verktøy vil ikke handle om hvem som har flest funksjoner eller lengst dialogvinduer, men om hvem som klarer å utnytte hver eneste tilbakemelding. En god AI-assistent handler ikke om å la den jobbe mer, men om å være som en god mester som sørger for at den lærer noe for hvert skritt den tar

・Å gi AI mer regnekraft og verktøy forklarer bare 30-40 % av resultatene (R²:

・0,33

・0

・42), de resterende 60 % avhenger av kvaliteten på tilbakemeldingene

・Med samme regnekraft, men mer effektiv tilbakemelding, kan suksessraten hoppe fra 27 % til 90 %. Forskjellen ligger i å «trene riktig», ikke å «trene mye»

・Effektiv tilbakemelding må være: Informativ, korrekt, ikke-redundant og tas i bruk. Mangler det fjerde punktet, er treningen bortkastet

・AI-minnefunksjoner løser bare «evnen til å huske», ikke filtrering av feil. Uten en sluse for datainnlegging, er falske minner mer giftige enn ingen minner

・Å mate inn feil fra AI-tilbud og korrekturrunder månedlig er nøkkelen til å gjøre den stadig mer presis

For trykkerier og designstudioer er ikke den virkelige inspirasjonen «om man skal ta i bruk AI», men «om man har designet en evalueringsmekanisme etter innføring». De fleste stopper ved det første steget og ser på verktøyimplementeringen som destinasjonen. Jeg anbefaler å starte med en liten oppgave: Velg et scenario med høy frekvens, for eksempel tilbud på brosjyrer eller prøvetrykk av klistremerker. Lag først en liste med tretti fasitsvar, og sett deretter opp en månedlig time for gjennomgang der dere retter opp regler basert på eksempler der AI-en svarte feil. Når denne sløyfen fungerer, kan dere vurdere minnefunksjoner eller utvide bruksområdet. For leverandører som tilbyr integrerte tjenester, er dette også en mulighet for langsiktig kundebinding: Du designer tilbakemeldingssløyfen for kunden slik at systemet stadig blir bedre tilpasset deres behov, i stedet for at det blir kastet etter et halvt år fordi det ikke lenger anses som presist

・Agenten trenger også «umiddelbar tilbakemelding»: Effective Feedback Compute og AI-ens bevisste trening