Mengapa Asisten Penawaran AI Anda Semakin Ngawur? Kuncinya Ada pada Umpan Balik

Selama satu atau dua bulan terakhir saat mengunjungi klien, saya mendengar pemilik percetakan UKM menanyakan hal yang sama: asisten penawaran AI dan bot layanan pelanggan LINE yang diterapkan tahun lalu, awalnya sangat mengesankan, tetapi sekarang terasa tidak ada kemajuan, bahkan terkadang melakukan kesalahan yang lebih konyol

Fenomena ini dijelaskan secara mendalam dalam sebuah makalah baru berjudul 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, yang ditulis oleh Xuanliang Zhang dkk. (Saya membaca ringkasan bahasa Mandarin oleh Wisely Chen)

Makalah ini mengukur secara kuantitatif sebuah fakta yang berlawanan dengan intuisi: Anda pikir dengan "menambah daya komputasi, menambahkan alat, atau menjalankan proses lebih sering", AI akan menjadi lebih kuat, padahal kenyataannya tidak

Makalah ini menggunakan raw tokens dan tool calls untuk menjelaskan tingkat keberhasilan tugas, di mana koefisien korelasi R² hanya:

・0,33 sampai

・0,42

Dalam bahasa sehari-hari di lapangan percetakan: jika Anda membuka catatan percakapan layanan pelanggan AI secara mendetail, meningkatkan frekuensi perhitungan ulang penawaran dari sekali menjadi tiga kali, atau menghubungkan dua basis data tambahan, tindakan "saya sudah melakukan banyak hal" ini hanya menyumbang sekitar 30-40% dari hasil, sisanya 60% tidak ada hubungannya dengan seberapa banyak sumber daya yang Anda bakar

Saya mengibaratkan ini seperti membimbing pekerja magang. Jika seorang mandor meminta pekerja magang mencetak 200 lembar latihan sehari, tetapi tidak pernah mengoreksi kesalahan atau memberi tahu di mana letak ketidaktepatan warna, pekerja magang tersebut tidak akan berkembang bahkan setelah mencetak sepuluh ribu lembar. Dia tidak menjadi lebih hebat, dia hanya menjadi lebih lelah

Konsep inti makalah ini disebut Effective Feedback Compute, atau disingkat EFC. Artinya: tidak semua interaksi diperhitungkan, hanya "umpan balik yang efektif" yang dapat membuat AI benar-benar berkembang

Makalah ini mendefinisikan umpan balik yang efektif harus memenuhi empat kondisi sekaligus. Saya akan menerapkannya satu per satu pada skenario percetakan:

・Informative (harus berbobot): Umpan balik membawa informasi baru. Jika pelanggan mengeluh penawaran mahal, tapi tidak mengatakan apakah mahalnya karena kertas atau proses pasca-cetak, umpan balik seperti ini tidak berguna

・Valid (harus akurat): Umpan balik dapat dipercaya, bukan noise atau tebakan. Jika staf penjualan asal mencatat "pelanggan ini tidak peduli harga" padahal ternyata terbalik, memberi makan sistem dengan umpan balik salah seperti ini justru lebih buruk daripada tidak memberi sama sekali

・Non-redundant (tidak berulang): Jangan mengulangi apa yang sudah diketahui. Jika sistem sudah mencatat seratus kali "pelanggan meminta art paper 100 gram", itu bukan informasi baru

・Retained (harus digunakan): Ini yang paling krusial. Apakah umpan balik benar-benar masuk ke pengambilan keputusan berikutnya? Jika staf penjualan mendiskusikan penilaian yang benar di grup, tetapi tidak ada yang merangkumnya ke dalam logika penawaran, sama saja dengan tidak mengatakannya

Angka paling krusial ada di sini: makalah ini melakukan eksperimen kontrol, di mana dengan anggaran komputasi yang tidak berubah, hanya dengan meningkatkan kualitas umpan balik, tingkat keberhasilan tugas meningkat dari 27% menjadi 90%

Tanpa biaya tambahan sedikit pun, hanya dengan membuat umpan balik menjadi efektif, tingkat keberhasilan melonjak tiga kali lipat. Setelah dihitung ulang, daya penjelas R² meningkat dari:

・0,33 melonjak tajam ke

・0,94 hingga

・0,99

Konsep ini sebenarnya adalah "latihan yang disengaja" (deliberate practice) yang sudah lama dibahas dalam ilmu pembelajaran: umpan balik harus konkret, akurat, dan harus masuk ke dalam latihan berikutnya. Latihan tanpa evaluasi, evaluasi tanpa perbaikan, sama dengan tidak berlatih. AI pun sama seperti manusia dalam hal ini

Setelah memahami prinsipnya, pertanyaannya adalah: bagaimana cara menghubungkan feedback loop ini ke dalam alur kerja percetakan. Saya memberikan beberapa cara yang bisa langsung dilakukan minggu ini

Pertama, buatlah tabel "jawaban standar". Identifikasi 20-30 produk yang paling sering ditawarkan dalam setengah tahun terakhir: katalog jilid kawat, buku jilid lem panas, stiker, kemasan kotak. Rangkum nomor item, kertas, proses pasca-cetak, dan kisaran harga yang wajar menjadi ground truth. Jika harga yang ditawarkan AI tidak sesuai dengan data ini, barulah Anda memiliki "sinyal kesalahan" untuk melakukan kalibrasi; jika tidak, Anda bahkan tidak akan tahu jika AI memberikan harga yang ngawur

Kedua, simpan catatan setiap kali AI melakukan kesalahan, dan catat penyebab akarnya. Jangan hanya mencatat "penawaran salah", tetapi catat "AI salah menghitung kartu 250 gram sebagai 200 gram" atau "lupa menghitung biaya spot UV". Ini sesuai dengan poin Informative, harus konkret sampai bisa ditindaklanjuti

第三，把失敗案例定期回灌。每個月花一小時，拿這個月 AI 報歪、客服答錯的案例，去修它的提示詞或規則。這一步才是 Retained，反饋有沒有「閉合」就看這裡。飄過去的對話紀錄不算數，被整理、被改進規則，它才算數

第四，每加一個功能，先過 EFC 第四條。想多串一個工具、多開一個自動回覆，先問自己：它會不會真的改變 AI 下一次的判斷？如果不會，加了就是純燒錢、純增加維護負擔

對設計端也一樣。如果你用 AI 輔助出圖、改稿、寫提案，客戶每次的修改意見就是你的反饋訊號。把「客戶為什麼退這版」具體記下來，下次提案直接避開，你的命中率才會升；只把退稿檔丟著、不歸納原因，改一百版也還在原地

有些廠商會推「AI 會記住你公司的習慣」這類記憶功能，聽起來很美。但論文這裡有個我很認同的提醒

記憶架構解決的是四條件裡最難的第四條「retain」，但它「只」解決記得住，不會幫你過濾前三條對不對、重不重複

換句話說，如果你把錯誤的、重複的、雜訊般的反饋也一股腦存進去，這些錯誤記憶會被反覆叫出來用，毒性比沒記憶還大。等於把「越錯越離譜」從單次，放大成永久

所以導入任何記憶功能，一定要配一道「寫入閘門」：這條資訊夠有料、夠可信、不重複嗎？過了再存。對印刷廠來說，就是別讓業務隨手記的、沒查證的客戶偏好，自動變成系統的「事實」

也要誠實講，這篇論文不是萬靈丹。那個：

・0,94 hingga

・0,99 sebagai batas atas

Dan poin "apakah umpan balik benar-benar mengubah keputusan" itu sendiri sulit untuk dinilai. Namun, terlepas dari pengurangan ekspektasi tersebut, saya sangat setuju dengan arah intinya

・Memberikan daya komputasi dan alat tambahan ke AI hanya menyumbang tiga hingga empat puluh persen dari hasil (R²：

・0,33

・0

・42), 60% sisanya bergantung pada kualitas umpan balik

・Dengan daya komputasi yang sama, hanya dengan membuat umpan balik menjadi efektif, tingkat keberhasilan dapat melonjak dari 27% menjadi 90%. Perbedaannya terletak pada "berlatih dengan benar" bukan "berlatih lebih banyak"

・Umpan balik yang efektif harus sekaligus memenuhi: berbobot, akurat, tidak berulang, dan digunakan. Kurangnya poin keempat berarti sia-sia

・Fungsi memori AI hanya menyelesaikan "mampu mengingat", tidak membantu Anda menyaring kesalahan; tanpa pintu gerbang penulisan, memori yang salah lebih beracun daripada tidak ada memori

・Memasukkan kembali kasus kegagalan penawaran atau revisi AI sebulan sekali adalah tindakan kunci agar AI semakin akurat seiring waktu

Bagi percetakan dan studio desain, inspirasi sebenarnya bukanlah "apakah harus mengadopsi AI", melainkan "apakah ada mekanisme evaluasi setelah diadopsi". Kebanyakan orang terjebak di langkah pertama dan berhenti, menganggap menghubungkan alat sebagai titik akhir. Disarankan untuk mulai dari hal kecil: pilih skenario dengan frekuensi tinggi, misalnya penawaran katalog atau pertanyaan sampel stiker, buat tabel jawaban standar dengan 30 item, lalu jadwalkan sesi evaluasi sebulan sekali selama satu jam untuk memperbaiki aturan berdasarkan kasus AI yang salah menjawab. Setelah siklus ini berjalan lancar, baru pertimbangkan untuk menambahkan fitur memori atau memperluas cakupan. Bagi penyedia layanan terintegrasi, ini juga menjadi jalan untuk terikat jangka panjang dengan klien: jika Anda membantu klien merancang feedback loop yang baik, sistem akan semakin sesuai dengan kebutuhan mereka seiring penggunaan, alih-alih dibuang setelah setengah tahun karena dianggap tidak akurat

・Agent juga butuh "umpan balik tepat waktu": Effective Feedback Compute dan deliberate practice pada Agent