Varför blir din AI-offertassistent sämre med tiden? Nyckeln ligger i feedback

Jag har besökt flera små och medelstora tryckerier under de senaste månaderna och ägarna frågar om samma sak: De AI-offertassistenter och AI-kundtjänstrobotar för LINE som installerades förra året var imponerande i början, men nu känns det som om de inte gjort några framsteg, och ibland blir misstagen till och med värre

Detta fenomen förklaras grundligt i en nyligen publicerad artikel med titeln "Scaling Laws for Agent Harnesses via Effective Feedback Compute", skriven av Xuanliang Zhang et al. Jag läste den kinesiska sammanfattningen av Wisely Chen

Den kvantifierar direkt något kontraintuitivt: du tror att AI:n blir starkare av "mer beräkningskraft, fler verktyg, fler körningar", men så är det inte

Artikeln använder raw tokens och tool calls för att förklara framgångsfrekvensen, där korrelationskoefficienten R² bara är:

・0.33 till

・0.42

Översatt till vardagsspråk för ett tryckeri: Att logga varje detalj i AI-kundtjänstens konversationer, att räkna om offerter tre gånger istället för en, eller att koppla på två extra databaser – dessa "jag har gjort mycket"-åtgärder förklarar förmodligen bara 30-40 % av resultatet. De resterande 60 procenten har inget att göra med hur mycket resurser du bränner

Jag jämför detta med att lära upp en lärling. Om en mästare låter lärlingen skriva ut 200 provtryck om dagen, men aldrig påpekar fel eller förklarar varför färgpassningen blev fel, kommer lärlingen inte att bli bättre även efter 10 000 utskrifter. Hen blir inte skickligare, bara tröttare

Kärnkonceptet i artikeln kallas Effective Feedback Compute, förkortat EFC. Det betyder: inte all interaktion räknas, bara "effektiv feedback" kan få AI:n att faktiskt bli bättre

Den definierar att effektiv feedback måste uppfylla fyra villkor samtidigt. Jag går igenom dem ett och ett för tryckerimiljön:

・Informative (informativ): Feedback ger ny information. Kunden klagar på att offerten är dyr, men säger inte om det är papperet eller efterbehandlingen som är dyr – det är meningslös feedback

・Valid (giltig): Feedback är pålitlig, inte brus eller gissningar. Om säljaren antecknar "kunden bryr sig inte om priset" men det var helt fel, är sådan felaktig feedback sämre att mata in än ingen feedback alls

・Non-redundant (icke-redundant): Upprepa inte vad som redan är känt. Om systemet har memorerat 100 gånger att "kunden vill ha 100 pund bestruket papper" finns ingen ny information

・Retained (bibehållen): Det här är den viktigaste punkten. Har feedbacken faktiskt tagits med i nästa beslut? Om säljaren sa det i gruppen men ingen organiserade in det i offertsystemets logik, räknas det inte

Det viktigaste numret här är: Artikeln gjorde ett kontrollförsök där man, med oförändrad beräkningsbudget, endast förbättrade kvaliteten på feedbacken, vilket höjde framgångsfrekvensen från 27 % till 90 %

Kostnaden ökade inte ett dugg, bara genom att göra feedbacken effektiv tredubblades framgångsfrekvensen. Efter omräkning gick R²-förklaringsvärdet från:

・0.33 till

・0.94 till

・0.99

Detta resonemang är egentligen vad inlärningsvetenskapen har kallat "medveten träning" (deliberate practice) i årtionden: Feedback måste vara specifik, korrekt och integreras i nästa träningspass. Att öva utan att utvärdera, eller att utvärdera utan att ändra, är som att inte öva alls. AI fungerar på samma sätt som människor här

När du väl förstår principen blir frågan: Hur kopplar man ihop denna loop i tryckeriprocessen? Här är några metoder du kan börja med redan denna vecka

Först, skapa en tabell med "standardsvar". Identifiera de 20-30 produkter du oftast ger offerter på – sadelhäftade kataloger, limbunden bok, dekaler, kartonger – och sammanställ korrekt artikelnummer, papper, efterbehandling och rimligt prisspann i en "ground truth"-lista. Om AI:ns offert inte stämmer med den här listan har du en signal om att det är fel, annars märker du inte ens att den räknar fel

För det andra, spara en logg varje gång AI:n gör fel, och anteckna grundorsaken. Inte bara "offerten var fel", utan "den beräknade 250 grams kartong som 200 gram" eller "glömde räkna med kostnaden för UV-lack". Detta motsvarar punkten om "Informative" – det måste vara tillräckligt konkret för att kunna åtgärdas

För det tredje, mata regelbundet tillbaka misslyckade fall. Lägg en timme i månaden på att använda de fall där AI:n gav fel offert eller svarade fel i kundtjänsten till att justera dess prompt eller regler. Detta är steget "Retained" – här avgörs om feedbacken verkligen är "sluten". Konversationer som bara flyter förbi räknas inte; det är först när de organiseras och används för att förbättra reglerna som de räknas

För det fjärde, varje gång du lägger till en funktion, kontrollera den mot EFC:s fjärde punkt. Innan du kopplar på ett nytt verktyg eller lägger till ett automatiskt svar, fråga dig själv: Kommer detta verkligen att ändra AI:ns nästa beslut? Om inte, är det bara slöseri med pengar och ökat underhållsarbete

Samma sak gäller för design. Om du använder AI för att hjälpa till med bilder, korrigeringar eller offertskrivande, är kundens feedback varje gång de begär ändringar din feedback-signal. Anteckna konkret *varför* kunden avvisade den här versionen, så att du kan undvika det i nästa förslag – det är så din träffsäkerhet ökar. Om du bara lämnar avvisade filer utan att analysera orsakerna, kommer du att stå kvar på samma ställe även efter 100 versioner

Vissa leverantörer marknadsför minnesfunktioner som "AI kommer att minnas ditt företags vanor", vilket låter fantastiskt. Men artikeln har en varning här som jag verkligen håller med om

Minnesarkitekturen löser den svåraste av de fyra punkterna, den fjärde: "retain". Men den löser *bara* att den kommer ihåg, den hjälper dig inte att filtrera de tre första punkterna om huruvida informationen är korrekt eller redundant

Med andra ord: om du matar in felaktig, redundant eller brusliknande feedback, kommer dessa felaktiga minnen att hämtas och användas om och om igen. Det är giftigare än att inte ha något minne alls. Det innebär att du förvandlar "felaktigt i enstaka fall" till ett permanent problem

Därför, om du implementerar någon minnesfunktion, måste du ha en "inmatningsgrind": Är den här informationen värdefull, pålitlig och unik? Spara den först när den har passerat kontrollen. För tryckerier innebär detta att inte låta säljarnas slumpmässiga, obekräftade kundpreferenser automatiskt bli systemets "fakta"

Jag måste också vara ärlig och säga att den här artikeln inte är en mirakelkur. Den där:

・0.94 till

・0.99 övre gränsen bygger på idealisk information där man känner till svaret i efterhand (artikeln kallar det Oracle-EFC), vilket ett verkligt system inte kan uppnå. Så det är en teoretisk takhöjd, inte ett nummer du får i morgon. Och punkten om huruvida "feedbacken verkligen ändrade beslutet" är i sig svår att bedöma. Men även om man gör dessa avdrag köper jag grundinriktningen helt

Framtidens konkurrens mellan AI-verktyg kommer inte att handla om vem som har flest funktioner eller längst chattfönster, utan om vem som kan se till att varje feedback verkligen används. En bra AI-assistent handlar inte om att låta den jobba mer, utan att den, precis som en bra lärling, lär sig något av varje steg den tar

・Att ge AI mer beräkningskraft och verktyg förklarar bara 30-40 % av resultatet (R²:

・0.33

・0

・42), de resterande 60 procenten beror på feedbackkvalitet

・Beräkningskraften är densamma, men genom att bara göra feedbacken effektiv kan framgångsfrekvensen hoppa från 27 % till 90 %. Skillnaden ligger i att "träna rätt", inte "träna mycket"

・Effektiv feedback måste samtidigt vara: informativ, korrekt, icke-redundant och bibehållen – saknas den fjärde punkten är träningen meningslös

・AI-minnesfunktioner löser bara "att minnas", de hjälper inte till att filtrera fel; utan en inmatningsgrind är felaktigt minne giftigare än inget minne

・Att mata tillbaka misslyckade fall från AI-offerter och korrekturer en gång i månaden är den viktigaste åtgärden för att göra den träffsäkrare med tiden

För tryckerier och designstudior är den verkliga insikten inte "ska vi införa AI", utan "har vi designat en utvärderingsmekanism efter införandet". De flesta fastnar i det första steget och ser verktygets installation som målet. Jag föreslår att man börjar med en liten sak: Välj ett vanligt scenario, till exempel katalogoffert eller provtryck av dekaler, bygg först en tabell med 30 standardsvar, och planera sedan in en timme i månaden för feedback där ni specifikt använder fall där AI:n svarade fel för att korrigera reglerna. När denna loop fungerar smidigt kan du överväga minnesfunktioner eller utöka omfattningen. För leverantörer som erbjuder integrerade tjänster är detta också ett sätt att binda till sig kunden på lång sikt: Om du designar feedback-loopen bra åt kunden, kommer systemet att bli mer och mer anpassat efter kundens behov istället för att bli utbytt efter ett halvår för att det anses vara oprecist

・Agent behöver också "snabb feedback": Effective Feedback Compute och Agent-baserad "deliberate practice"