AI Fiyat Teklifi Asistanınız Neden Zamanla Sapıyor? İşin Sırrı Geri Bildirimde

Son bir iki aydır müşterileri ziyaret ederken, birkaç KOBİ ölçekli matbaa sahibinden aynı soruyu duyuyorum: Geçen yıl kurduğumuz AI fiyat teklifi asistanı ve LINE üzerinden otomatik cevap veren müşteri hizmetleri botu, ilk denemede harikaydı, ancak neden şu an gelişme göstermiyor ve hatta bazen hatalar daha da karmaşıklaşıyor?

Bu fenomen, Xuanliang Zhang ve ekibi tarafından kaleme alınan ve Wisely Chen'in özetlediği *Scaling Laws for Agent Harnesses via Effective Feedback Compute* başlıklı makalede oldukça detaylı bir şekilde ele alınıyor

Makale, sezgilere aykırı bir durumu nicel verilerle ortaya koyuyor: AI'ya daha fazla işlem gücü (compute) vermenin, daha fazla araç bağlamanın veya sistemi daha sık çalıştırmanın onu güçlendireceğini sanıyorsanız, yanılıyorsunuz

Makale, raw tokens ve tool calls kullanarak görev başarı oranını açıklıyor ancak R² değerleri sadece şu aralıkta:

・0.33 ile

・0.42

Matbaa diliyle söylemek gerekirse: AI müşteri hizmetlerinin konuşma geçmişini detaylandırmak, fiyat hesaplama denemelerini birden üçe çıkarmak veya sisteme iki veri tabanı daha bağlamak gibi "çok şey yaptım" dediğiniz aksiyonlar, başarının ancak %30-%40'ını açıklıyor; geri kalan %60 ise ne kadar kaynak harcadığınızla ilgisiz

Bunu çırak yetiştirmeye benzetiyorum. Bir usta, çırağına günde iki yüz baskı yaptırıyor ama baskı bittiğinde hatayı göstermiyor, renk kaymasını düzeltmiyor; bu çırak on bin baskı da yapsa aynı seviyede kalır. Yetenekli hale gelmiyor, sadece yoruluyor

Makalenin temel kavramı Effective Feedback Compute, yani kısaca EFC. Anlamı şu: Her etkileşim sayılmaz, sadece "etkili geri bildirim" AI'nın gerçekten ilerlemesini sağlar

Makale, etkili geri bildirimin aynı anda dört koşulu sağlaması gerektiğini tanımlıyor; ben bunları matbaa sahneleriyle eşleştiriyorum:

・Informative (Bilgilendirici): Geri bildirim yeni bir bilgi getirmeli. Müşterinin fiyatı pahalı bulması tek başına bir şey ifade etmez; kağıt mı yoksa baskı sonrası işlemler mi pahalı? Bu tür detaylar olmadan verilen geri bildirim boştur

・Valid (Doğru): Geri bildirim güvenilir olmalı, gürültü veya tahmin içermemeli. Satış temsilcisinin "bu müşteri fiyata takılmaz" diye gelişigüzel yazdığı bir not, yanlışsa, bu hatalı geri bildirimi sisteme girmek, hiç girmemekten daha kötüdür

・Non-redundant (Tekrarsız): Zaten bilinenleri tekrar etmeyin. Sisteme yüz kere "müşteri 100 gram kuşe kağıt istiyor" diye not düşmek, yeni bir bilgi eklemez

・Retained (Kullanılmış): En kritik nokta bu. Geri bildirim bir sonraki kararda gerçekten kullanıldı mı? Satış temsilcisi grupta doğru bir yargıda bulundu ama kimse bunu fiyatlandırma mantığına eklemediyse, hiçbir anlamı yoktur

En çarpıcı rakam şurada: Makalede yapılan bir karşılaştırmalı deneyde, hesaplama bütçesi tamamen sabit tutularak sadece geri bildirim kalitesi artırılmış ve görev başarı oranı %27'den %90'a çıkmış

Maliyet artmadı, sadece geri bildirim "etkili" hale getirildi ve başarı üç katından fazla arttı. Yeniden hesaplandığında R² değeri:

・0.33 seviyesinden

・0.94 ila

・0.99 seviyelerine fırladı

Bu yaklaşım aslında eğitim bilimlerinin on yıllardır vurguladığı "kasıtlı pratik" (deliberate practice) ile aynıdır: Geri bildirim somut olmalı, doğru olmalı ve bir sonraki uygulamaya dahil edilmelidir. Gözden geçirme yapılmadan yapılan pratik, pratik değildir. AI da insanlar gibi bu disiplinle beslenir

Prensibi anladıktan sonra asıl mesele, matbaa süreçlerinde bu geri bildirim döngüsünü nasıl kuracağınız. Bu hafta hemen uygulayabileceğiniz birkaç yöntem sunuyorum

Birincisi, bir "standart cevap" (ground truth) tablosu oluşturun. Geçtiğimiz yarım yılda en çok fiyat verdiğiniz yirmi-otuz ürünü (tel dikiş kataloglar, Amerikan cilt kitaplar, etiketler, kutular) belirleyin. Doğru ürün kodlarını, kağıt türlerini, baskı sonrası işlemleri ve makul fiyat aralıklarını düzenleyin. AI'nın verdiği fiyat bu tabloyla uyuşmazsa, elinizde "hatalı sinyal" alabileceğiniz bir referans olur; aksi takdirde yanlış fiyat verdiğinde bile bunu fark edemezsiniz

İkincisi, AI her hata yaptığında kayıt tutun ve kök nedene inin. Sadece "yanlış fiyatlandı" diye yazmayın; "250 gram karton yerine 200 gram hesapladı", "lak maliyetini eklemeyi unuttu" gibi notlar düşün. Bu, *Informative* (Bilgilendirici) koşuluna karşılık gelir; harekete geçirilebilir düzeyde somut olmalıdır

Üçüncüsü, başarısızlık örneklerini düzenli olarak sisteme geri besleyin. Her ay bir saatinizi ayırın ve AI'nın o ay yanlış fiyat verdiği veya müşteri hizmetlerinde hatalı cevapladığı örnekleri alarak istemlerini (prompt) veya kurallarını düzeltin. *Retained* (Kullanılmış) koşulu tam olarak budur; geri bildirimin bir "döngü" oluşturması buna bağlıdır. Havada kalan konuşma kayıtları sayılmaz; ancak düzenlenmiş ve kurallara yansıtılmış geri bildirim bir değer taşır

Dördüncüsü, her yeni özellik eklediğinizde EFC'nin dördüncü maddesini gözden geçirin. Yeni bir araç bağlamayı veya otomatik bir cevap eklemeyi düşünüyorsanız kendinize sorun: Bu, AI'nın bir sonraki kararını gerçekten değiştirecek mi? Eğer cevap hayır ise, eklemek sadece para ve bakım yükünü artırır

Bu tasarım süreçleri için de geçerlidir. AI destekli görsel oluşturma, revizyon veya teklif yazımı kullanıyorsanız, müşterinin her düzeltme talebi sizin geri bildirim sinyalinizdir. "Müşteri bu tasarımı neden reddetti?" sorusunu somut olarak not edin ve bir sonraki teklifte bundan kaçının; başarı oranınız ancak böyle artar. Reddedilen dosyaları bir kenara atıp analiz etmezseniz, yüz kere revizyon yapsanız da yerinizde sayarsınız

Bazı tedarikçiler "AI şirketinizin alışkanlıklarını hatırlar" şeklinde hafıza özellikleri sunuyor, kulağa çok hoş geliyor. Ancak makalede bu konuda çok katıldığım bir uyarı var

Hafıza mimarisi, dört koşuldan en zoru olan dördüncü "retain" (kullanma) sorununu çözer; ancak "sadece" hatırlamayı sağlar, önceki üç koşulun doğruluğunu veya tekrarsızlığını filtrelemez

Başka bir deyişle, hatalı, tekrarlayan ve gürültü niteliğindeki geri bildirimleri doğrudan sisteme kaydederseniz, bu yanlış hatıralar tekrar tekrar çağrılacak ve sistemin zehirlenmesine neden olacaktır. Hatalı "anlık" kararları, "kalıcı" hatalara dönüştürmüş olursunuz

Bu nedenle, herhangi bir hafıza özelliği kurarken mutlaka bir "yazma kapısı" (filtre) oluşturun: Bu bilgi yeterince değerli, güvenilir ve tekrarsız mı? Ancak onaylanırsa kaydedilmeli. Matbaalar için bu, satış temsilcisinin aceleyle yazdığı ve doğrulanmamış müşteri tercihlerinin, otomatik olarak sistemin "gerçeği" haline gelmemesini sağlamak demektir

Dürüst olmak gerekirse, bu makale sihirli bir değnek değildir. Makaledeki:

・0.94 ila

・0.99 üst sınırı,

sonradan cevabın bilindiği ideal bilgiler (makalede Oracle-EFC deniyor) kullanılarak elde edilmiştir; gerçek sistemler buna ulaşamaz, dolayısıyla bu teorik bir tavan noktasıdır. "Geri bildirimin karar mekanizmasını gerçekten değiştirip değiştirmediği" de zaten yargılaması zor bir konudur. Ancak yine de ana fikri tamamen destekliyorum

Gelecekte AI araçlarındaki rekabet, kimin daha çok özellik sunduğu veya kimin sohbet penceresinin daha uzun olduğu üzerinden değil, kimin her bir geri bildirimi gerçekten kullanabildiği üzerinden yürüyecek. İyi bir AI asistanı, ona çok iş yüklemek değil; iyi bir usta gibi, attığı her adımda gerçekten bir şeyler öğrenmesini sağlamaktır

・AI'ya daha fazla işlem gücü ve araç vermek, başarının ancak %30-%40'ını açıklar (R²: 0.33 - 0.42); geri kalan %60, geri bildirim kalitesine bağlıdır

・İşlem gücü aynı kalsa bile geri bildirimi "etkili" hale getirmek başarı oranını %27'den %90'a çıkarabilir; fark "çok çalışmakta" değil, "doğru çalışmakta" yatar

・Etkili geri bildirim aynı anda: Bilgilendirici, doğru, tekrarsız ve kullanılmış olmalıdır; dördüncü koşul eksikse boşa kürek çekiyorsunuz demektir

・AI hafıza özelliği sadece "hatırlamayı" sağlar, hataları filtrelemez; bir filtre (yazma kapısı) kurulmazsa, hatalı hafızalar hiç hafıza olmamasından daha zararlıdır

・AI fiyatlandırma veya tasarım revizyonlarındaki başarısızlık örneklerini her ay sisteme geri beslemek, sistemin zamanla daha yetkin hale gelmesini sağlayan en kritik aksiyondur

Matbaalar ve tasarım stüdyoları için gerçek ders "AI kullanmalı mıyım?" değil, "Kullandıktan sonra bir gözden geçirme mekanizması tasarladım mı?" sorusudur. Çoğu insan ilk adımda takılıp kalıyor ve aracı bağlamayı varış noktası sanıyor. Küçük bir şeyle başlamanızı öneriyorum: Katalog fiyatlandırması veya etiket baskı örneği gibi yüksek frekanslı bir alan seçin, önce otuz maddelik bir standart cevap listesi oluşturun ve ayda bir saatlik bir "geri besleme" seansı planlayın; AI'nın yanlış cevapladığı vakaları kuralları düzeltmek için kullanın. Bu döngü oturduğunda, hafıza özelliği eklemeyi veya alanı genişletmeyi düşünebilirsiniz. Entegre hizmet sunan matbaalar için bu, müşteriyle uzun vadeli bağ kurmak adına da bir fırsattır: Müşterinin geri bildirim döngüsünü tasarladığınızda, sistem zamanla kendi ihtiyaçlarına göre özelleşecek ve altı ay sonra "doğru çalışmıyor" diye çöpe atılmayacaktır

・Agent'ların da "anlık geri bildirime" ihtiyacı var: Effective Feedback Compute ve Agent'ların kasıtlı pratiği (deliberate practice)