Bakit lalong nagiging mali ang iyong AI quoting assistant? Ang susi ay feedback

Sa nakalipas na isa o dalawang buwan, marami akong nakasalamuhang mga may-ari ng maliliit at katamtamang laki ng imprenta na nagtatanong ng parehong bagay: noong nakaraang taon, nag-deploy kami ng AI quoting assistant at customer service bot. Maganda ang resulta noong simula, pero bakit parang hindi na ito umuusad ngayon, at minsan ay lalo pang lumalala ang mga pagkakamali nito?

Ang phenomenon na ito ay malinaw na ipinaliwanag sa isang kamakailang papel na pinamagatang 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, na isinulat nina Xuanliang Zhang et al. Ang binasa ko ay ang Chinese summary ni Wisely Chen

Ipinapakita nito sa isang paraang counter-intuitive na: Ang pag-aakalang "mas maraming computing power, mas maraming tools, at mas maraming ulit" ay magpapalakas sa AI ay hindi totoo

Ginamit ng papel ang raw tokens at tool calls upang ipaliwanag ang tagumpay ng gawain, at ang correlation coefficient R² ay nasa:

・0.33 hanggang

・0.42 lamang

Sa simpleng salita para sa mga imprenta: Ang paggawa ng napakadetalyadong record ng AI customer service, ang pagpapa-recalculate ng quote mula sa isa hanggang tatlong beses, o ang pag-connect ng dalawa pang database—ang mga aksyong ito na "marami akong ginawa" ay nagpapaliwanag lang ng mga tatlo o apat na bahagi ng sampu ng resulta. Ang natitirang anim na bahagi ay walang kinalaman sa kung gaano kalaki ang ginamit mong resources

Maihahalintulad ko ito sa pag-gabay sa isang apprentice. Kung pagagawaan mo ang isang apprentice ng dalawandaang piraso ng draft sa isang araw, pero hindi mo naman itinuturo kung nasaan ang mali o kung saan hindi pantay ang kulay, kahit pa sampung libong piraso ang i-print niya, hindi pa rin siya gagaling. Hindi siya naging mas magaling; mas napagod lang siya

Ang pangunahing konsepto ng papel ay ang Effective Feedback Compute, o EFC. Ibig sabihin nito: hindi lahat ng interaksyon ay mahalaga; ang "epektibong feedback" lamang ang tunay na nakakapagpabuti sa AI

Tinukoy nito ang apat na kundisyon para sa epektibong feedback. Ipapaliwanag ko ito isa-isa sa konteksto ng imprenta:

・Informative (Dapat may laman): Nagdadala ng bagong impormasyon ang feedback. Kung nagrereklamo ang customer na mahal ang quote pero hindi sinabi kung dahil ba ito sa papel o sa post-processing, walang silbi ang feedback na iyon

・Valid (Dapat tama): Ang feedback ay dapat kapani-paniwala, hindi tsismis o hula. Kung ang sales staff ay nag-note ng "hindi mahalaga sa customer ang presyo" pero mali pala ito, mas lalong nakakasama ang maling feedback na ito kaysa sa wala

・Non-redundant (Hindi dapat paulit-ulit): Huwag nang ulitin ang alam na. Kung na-record na ng system nang isandaang beses na "kailangan ng customer ng 100lb art paper," wala na itong bagong impormasyon

・Retained (Dapat magamit): Ito ang pinakamahalaga. Nagamit ba talaga ang feedback sa susunod na desisyon? Kung nagbigay ng tamang judgment ang staff sa group chat pero walang nag-ayos nito sa quoting logic, para na ring walang sinabi

Narito ang pinakamahalagang numero: nagsagawa ang papel ng isang comparative experiment. Sa parehong computing power budget, itinaas lang nila ang kalidad ng feedback, at ang task success rate ay tumalon mula 27% tungo sa 90%

Walang dagdag na gastos, itinaas lang ang kalidad ng feedback, at tumalon ng tatlong beses ang tagumpay. Matapos itong i-recalculate, ang explanatory power na R² ay tumalon mula:

・0.33 diretso sa

・0.94 hanggang

・0.99

Ang konseptong ito ay ang "deliberate practice" na itinuturo ng science of learning sa loob ng maraming dekada: ang feedback ay dapat konkreto, tama, at magamit sa susunod na pagsasanay. Kung nagsanay ka nang hindi nagre-review, o nag-review nang hindi nagbabago, para ka lang hindi nagsanay. Ganyan din ang AI

Matapos maunawaan ang prinsipyo, ang problema ay: paano ito ikokonekta sa daloy ng pag-print? Narito ang ilang mga hakbang na maaari mong simulan ngayong linggo

Una, gumawa ng isang "standard answer" reference table. Hanapin ang dalawampu o tatlumpung pinakamadalas i-quote na produkto noong nakaraang kalahating taon—saddle-stitch catalogs, perfect bound books, stickers, boxes—at ayusin ang mga tamang item code, papel, post-processing, at reasonable price range bilang ground truth. Kung hindi tumutugma ang quote ng AI sa listahang ito, doon mo lang malalaman kung may mali at makakapag-adjust; kung hindi, hindi mo malalaman kung mali ang report nito

Pangalawa, mag-record sa bawat pagkakamali ng AI, at dapat may dahilan (root cause). Huwag lang isulat na "mali ang quote," isulat na "in-calculate nito ang 250lb card stock bilang 200lb" o "nakalimutang isama ang gastos sa coating." Ito ay tumutugma sa kundisyong Informative; dapat ay konkreto ito para magawan ng aksyon

Pangatlo, regular na ibalik ang mga bigong kaso. Gumugol ng isang oras bawat buwan para kunin ang mga maling quote o maling sagot ng AI at ayusin ang prompt o mga rule nito. Ang hakbang na ito ang mismong Retained. Ang feedback ay maituturing lang na "closed-loop" kung ito ay naayos at nagamit sa pagpapabuti ng mga rule

Pang-apat, sa tuwing magdadagdag ng function, ipasa muna ito sa ika-apat na kundisyon ng EFC. Kung gusto mong magdagdag ng isa pang tool o awtomatikong reply, itanong muna sa sarili: babaguhin ba nito ang desisyon ng AI sa susunod? Kung hindi, dagdag-gastos lang ito at dagdag-pasanin sa maintenance

Ganito rin sa design side. Kung gumagamit ka ng AI para tumulong sa pag-drawing, pag-edit, o pagsulat ng proposal, ang feedback ng customer ang iyong feedback signal. I-record nang konkreto kung "bakit tinanggihan ng customer ang bersyong ito," at iwasan ito sa susunod na proposal para tumaas ang iyong hit rate; kung hahayaan lang ang mga tinanggihang file nang hindi sinusuri ang dahilan, kahit isang daang bersyon pa ang gawin mo, nasa parehong lugar ka lang

May ilang vendor na nagpo-promote ng memory function na "naaalala ng AI ang mga gawi ng iyong kumpanya." Maganda itong pakinggan, pero may paalala ang papel na lubos kong sinasang-ayunan

Ang memory architecture ay lumulutas sa ika-apat na kundisyon (retain), ang pinakamahirap sa apat, ngunit "ito lang" ang naaalala nito; hindi nito sasalain kung tama o paulit-ulit ba ang naunang tatlong kundisyon

Sa madaling salita, kung ilalagay mo ang lahat ng maling feedback, paulit-ulit na impormasyon, at ingay sa system, ang mga maling memory na ito ang paulit-ulit na tatawagin at gagamitin, na mas malala pa ang lason kaysa sa walang memory. Katumbas ito ng pagpapalaki ng "mas nagiging mali" mula sa isang beses, tungo sa permanente

Kaya kung mag-i-import ng anumang memory function, kailangang lagyan ng "writing gate": Sapat ba ang laman, kapani-paniwala, at hindi ba paulit-ulit ang impormasyong ito? I-save lang kung pumasa. Para sa mga imprenta, huwag hayaang maging "katotohanan" ng system ang mga preference ng customer na na-record lang ng staff nang walang pagsusuri

Dapat din nating aminin na ang papel na ito ay hindi magic pill. Ang:

・0.94 hanggang

・0.99 na limitasyon, ay gumagamit ng ideal na impormasyon kung saan alam na ang sagot (tinatawag ng papel na Oracle-EFC). Hindi ito magagawa ng totoong system, kaya ito ay theoretical ceiling, hindi numero na makukuha mo bukas. At ang "nagbago ba talaga ang feedback sa desisyon" ay mahirap din husgahan. Pero kahit na may ganitong mga diskwento, lubos kong sinasang-ayunan ang pangunahing direksyon

Ang kompetisyon ng mga AI tool sa hinaharap ay hindi kung sino ang may pinakamaraming function o pinakamahabang chat box, kundi kung sino ang makakapagpa-gamit sa bawat piraso ng feedback. Ang magandang AI assistant ay hindi ang pinapagawa ng marami, kundi ang parang isang mahusay na mentor, na natututo sa bawat hakbang

・Ang pagbibigay ng mas maraming computing power at tools sa AI ay 30-40% lang ng tagumpay (R²:

・0.33

・0.42), ang natitirang 60% ay nakadepende sa kalidad ng feedback

・Ang computing power ay hindi nagbabago, ang paggawa lang ng feedback na epektibo ay makakapagpataas ng success rate mula 27% tungo sa 90%; ang pagkakaiba ay nasa "pagsasanay nang tama" at hindi sa "pagsasanay nang marami."

・Ang epektibong feedback ay dapat: may laman, tama, hindi paulit-ulit, at nagagamit; ang kawalan ng ika-apat na kundisyon ay parang walang pagsasanay

・Ang AI memory function ay nakakalutas lang ng "pag-alala," hindi nito sasalain ang mali; kung walang "writing gate," mas lason ang maling memory kaysa sa wala

・Ang regular na pagbalik (feedback loop) ng mga bigong kaso ng AI quoting at pag-edit bawat buwan ang susi para lalo itong maging tumpak

Para sa mga imprenta at design studio, ang tunay na inspirasyon ay hindi "kung dapat bang gumamit ng AI," kundi "kung may mekanismo ba ng pagsusuri matapos itong i-deploy." Marami ang na-stuck sa unang hakbang at huminto na, at itinuring na "katapusan" ang pag-konekta sa tool. Iminumungkahi kong magsimula sa maliliit na bagay: pumili ng isang high-frequency scenario, tulad ng catalog quoting o sticker sampling inquiry, gumawa muna ng listahan ng tatlumpung standard answer, at magtakda ng isang oras bawat buwan para sa pag-review ng mga kaso kung saan nagkamali ang AI para ayusin ang mga rule nito. Kapag maayos na ang feedback loop na ito, saka mo isaalang-alang ang pag-up sa memory function o pagpapalawak ng saklaw. Para sa mga vendor na nag-aalok ng integrated services, ito rin ay isang paraan para manatiling konektado sa mga customer sa katagalan: tinutulungan mo ang mga customer na idisenyo ang kanilang feedback loop, at ang system ay magiging mas angkop sa kanilang mga pangangailangan sa paglipas ng panahon, sa halip na itapon na lang dahil hindi na tumpak pagkalipas ng anim na buwan

・Agent 也需要「及時反饋」：Effective Feedback Compute 與 Agent 的 deliberate practice