AI qiymət təklifi köməkçiniz niyə getdikcə yanlışlaşır? Əsas məsələ rəy (feedback)-dir

Mən son bir-iki ayda müştərilərin yanına gedəndə bir çox kiçik və orta ölçülü mətbəə sahiblərindən eyni sualı eşitdim: ötən il tətbiq olunan AI qiymət təklifi köməkçisi və LINE-da avtomatik cavab verən çat-bot əvvəlcə heyrətamiz idi, amma indi inkişaf etməyib, hətta bəzən daha ciddi səhvlərə yol verir

Bu fenomen bu yaxınlarda Xuanliang Zhang və başqalarının yazdığı 'Scaling Laws for Agent Harnesses via Effective Feedback Compute' adlı elmi məqalədə ətraflı izah edilib. Mən orijinal mətni Wisely Chen-in çin dilindəki xülasəsi vasitəsilə oxumuşam

O, çox intuitiv olmayan bir şeyi birbaşa kəmiyyətlərlə izah edir: Siz elə düşünürsünüz ki, 'daha çox hesablama gücü, daha çox alət, daha çox icra' AI-ni gücləndirəcək, amma əslində belə deyil

Məqalə tapşırığın müvəffəqiyyət dərəcəsini izah etmək üçün 'raw tokens' və 'tool calls'-dan istifadə edir, korrelyasiya əmsalı R² yalnız:

・0.33 ilə

・0.42 arasındadır

Mətbəə dilinə tərcümə etsək: Siz AI müştəri xidmətinin söhbət qeydlərini ən ətraflı hala gətirsəniz, qiymət təklifini yenidən hesablama sayını birdən üçə qaldırsanız və daha iki məlumat bazası əlavə etsəniz, bütün bu 'çox şey etdim' addımları nəticənin yalnız 30-40%-ni izah edə bilir, qalan 60% isə nə qədər resurs sərf etməyinizlə bağlı deyil

Bunu şagird yetişdirməyə bənzədirəm. Bir usta şagirdə gündə iki yüz məşq vərəqi çap etdirir, amma çapdan sonra heç vaxt səhvləri göstərmir, rənglərin harada düzgün düşmədiyini demir. Bu şagird on min vərəq də çap etsə, səviyyəsi dəyişməz qalacaq. O daha bacarıqlı olmayıb, sadəcə daha çox yorulub

Məqalənin əsas konsepsiyası Effective Feedback Compute, qısaca EFC adlanır. Bu o deməkdir ki: bütün qarşılıqlı təsirlər hesablanmır, yalnız 'effektiv rəylər' AI-ni həqiqətən inkişaf etdirə bilər

O, effektiv rəyin eyni anda dörd şərti yerinə yetirməli olduğunu müəyyən edir, mən bunu mətbəə ssenarisinə uyğunlaşdırıram:

・Informative (Məlumatlandırıcı): Rəy yeni məlumat gətirir. Müştəri qiymətin baha olduğunu deyir, amma kağızdan yoxsa son emaldan baha olduğunu demirsə, bu rəy faydasızdır

・Valid (Düzgün): Rəy etibarlıdır, səs-küy və ya təxmin deyil. Menecer səhlənkarcasına 'bu müştəri qiymətə fikir vermir' qeyd edir, amma əslində tam tərsi olur. Belə səhv rəyi daxil etmək, heç daxil etməməkdən daha pisdir

・Non-redundant (Təkrarlanmayan): Artıq bildiyiniz şeyi yenidən deməyin. Sistem yüz dəfə 'müştəri 100 funtluq mis kağız istəyir' qeyd edib, burada yeni məlumat yoxdur

・Retained (İstifadə edilən): Ən vacib şərt budur. Rəy növbəti qərara həqiqətən təsir edibmi? Menecer qrupda düzgün qərarı deyir, amma heç kim bunu qiymət təklifi məntiqinə əlavə etmirsə, bu heç deyilməmiş kimidir

Ən əsas rəqəm buradadır: Məqalə bir müqayisəli eksperiment aparıb, hesablamalara ayrılan büdcə tamamilə dəyişməz qalarkən, yalnız rəyin keyfiyyəti artırılıb və tapşırığın müvəffəqiyyət dərəcəsi 27%-dən 90%-ə yüksəlib

Xərc bir qəpik də artmayıb, sadəcə rəy effektiv edilib və müvəffəqiyyət dərəcəsi üç dəfədən çox artıb. Yenidən hesabladıqdan sonra, R² izah qabiliyyəti:

・0.33-dən birbaşa

・0.94 ilə

・0.99-a çatdı

Bu yanaşma əslində öyrənmə elminin onilliklərdir dediyi 'məqsədyönlü təcrübədir' (deliberate practice): rəy konkret olmalı, düzgün olmalı və növbəti təcrübəyə daxil olmalıdır. Məşq edib nəzərdən keçirməmək, nəzərdən keçirib dəyişdirməmək - məşq etməməyə bərabərdir. AI də insanlar kimi buna uyğunlaşır

Prinsipi bildikdən sonra məsələ budur: mətbəə prosesində bu dövrəni necə bağlamaq olar? Bu həftə tətbiq edə biləcəyiniz bir neçə üsul təqdim edirəm

Birincisi, əvvəlcə 'standart cavablar' cədvəli qurun. Son yarım ildə ən çox təklif edilən iyirmi-otuz məhsulu (tel tikişli kataloqlar, yapışqanlı cildlər, stikerlər, qutular) seçin və düzgün məhsul kodlarını, kağızları, son emal növlərini və ağlabatan qiymət aralıqlarını 'ground truth' kimi sənədləşdirin. AI-nin təklif etdiyi qiymət bu siyahı ilə uyğunlaşmırsa, onda 'düzgün/səhv siqnalı' əldə edə bilərsiniz, yoxsa qiymətin yanlış olduğunu belə bilməyəcəksiniz

İkincisi, AI hər dəfə səhv etdikdə qeyd edin və səbəbini göstərin. 'Qiyməti səhv hesablayıb' yazmayın, '250 funtluq kartonu 200 funt hesablayıb' və ya 'laklama xərclərini hesablamağı unudub' kimi qeyd edin. Bu, Informative şərtinə uyğundur, konkret və hərəkətə keçilə bilən olmalıdır

Üçüncüsü, uğursuz halları mütəmadi olaraq yenidən sistemə daxil edin. Hər ay bir saatınızı bu ay AI-nin səhv qiymət təklif etdiyi və ya çat-botun yanlış cavab verdiyi halları götürüb, onun prompt-unu və ya qaydalarını düzəltməyə sərf edin. Bu addım Retained şərtidir, rəyin 'qapanması' burada baş verir. Səthi söhbət qeydləri sayılmır; təşkil edilmiş və qaydaları təkmilləşdirilmiş məlumatlar sayılır

Dördüncüsü, hər bir yeni funksiya əlavə etdikdə, əvvəlcə EFC-nin dördüncü şərtindən keçirin. Yeni alət əlavə etmək və ya avtomatik cavabı işə salmaq istəyərkən özünüzə sual verin: Bu, AI-nin növbəti qərarını həqiqətən dəyişəcəkmi? Dəyişməyəcəksə, bu sadəcə pul israfıdır və texniki yükü artırır

Dizayn tərəfində də eynidir. Əgər AI-dən şəkillər yaratmaq, düzəlişlər etmək və ya təkliflər yazmaq üçün istifadə edirsinizsə, müştərinin hər dəfə verdiyi rəylər sizin rəy siqnalınızdır. 'Müştəri niyə bu versiyanı geri çevirdi' sualının cavabını konkret qeyd edin və növbəti təklifdə birbaşa ondan qaçın, onda uğur nisbətiniz artacaq. Geri çevrilən sənədləri yığıb səbəbini analiz etməsəniz, yüz versiya da dəyişsəniz yerinizdə sayacaqsınız

Bəzi təchizatçılar 'AI şirkətinizin vərdişlərini xatırlayacaq' kimi yaddaş funksiyalarını təşviq edirlər, bu çox cəlbedici səslənir. Lakin məqalədə mənim də razılaşdığım bir xəbərdarlıq var

Yaddaş arxitekturası dörd şərtdən ən çətini olan dördüncünü ('retain') həll edir, lakin o, 'yalnız' xatırlamağı təmin edir, ilk üç şərtin düzgünlüyünü və ya təkrar olub-olmadığını yoxlamağa kömək etmir

Başqa sözlə, əgər siz səhv, təkrarlanan və səs-küy kimi rəyləri birbaşa sistemə daxil etsəniz, bu səhv xatirələr təkrar-təkrar istifadə olunacaq və bu, yaddaşı olmayan sistemdən daha zəhərli olacaq. Bu, 'getdikcə daha çox səhv etmə' halını birdəfəlik hadisədən daimi hala gətirmək deməkdir

Ona görə də istənilən yaddaş funksiyasını tətbiq edərkən mütləq bir 'yazma qapısı' (write gate) olmalıdır: Bu məlumat kifayət qədər məlumatlandırıcı, etibarlı və təkrarlanmayan deyilmi? Yalnız keçərsə, yadda saxlayın. Mətbəə üçün bu o deməkdir ki, menecerlərin təsadüfən qeyd etdiyi və yoxlanılmamış müştəri seçimlərinin sistemin 'fakt' kimi avtomatik qəbul edilməsinə icazə verməyin

Həmçinin dürüst olmaq lazımdır, bu məqalə sehrli dərman deyil. O:

・0.94-dən

・0.99-a qədər olan hədd, yalnız sonradan cavabın bilindiyi ideal məlumatlardan (məqalədə Oracle-EFC adlanır) istifadə edir. Real sistemlərdə bu mümkün deyil, ona görə də bu nəzəri tavanı, sabah əldə edəcəyiniz rəqəm deyil. Və 'rəy həqiqətən qərarı dəyişibmi' şərti özü də qiymətləndirilməsi çətin bir məsələdir. Lakin bu güzəştlərə baxmayaraq, mən əsas istiqaməti tamamilə dəstəkləyirəm

Gələcəkdə AI alətləri arasında rəqabət kimin daha çox funksiyası olması və ya söhbət pəncərəsinin nə qədər uzun olması deyil, kimin hər bir rəyi həqiqətən istifadə edə bilməsi ilə bağlı olacaq. Yaxşı AI köməkçisi ona daha çox iş gördürmək deyil, yaxşı bir usta kimi onun hər addımda həqiqətən bir şeylər öyrənməsini təmin etməkdir

・AI-yə daha çox hesablama gücü və alət vermək, nəticənin yalnız 30-40%-ni izah edə bilir (R²:

・0.33

・0.42), qalan 60% rəy keyfiyyətindən asılıdır

・Hesablama gücü dəyişmədən, yalnız rəyi effektiv etməklə müvəffəqiyyət nisbəti 27%-dən 90%-ə yüksələ bilər. Fərq 'çox məşq etmək'də deyil, 'düzgün məşq etmək'dədir

・Effektiv rəy eyni anda məlumatlandırıcı, düzgün, təkrarlanmayan və istifadə olunan olmalıdır; dördüncü şərtin olmaması məşqin boşa getməsi deməkdir

・AI yaddaş funksiyası yalnız 'xatırlamağı' təmin edir, səhvləri filtrləmir; yazma qapısı quraşdırılmasa, səhv xatirələr yaddaşsızlıqdan daha təhlükəlidir

・AI qiymət təklifi və düzəliş proseslərindəki uğursuzluqları hər ay sistemə yenidən daxil etmək, onun getdikcə dəqiqləşməsinin əsas açarıdır

Mətbəələr və dizayn studiyaları üçün əsl ilham 'AI-ni tətbiq etməliyikmi' deyil, 'tətbiq etdikdən sonra nəzərdən keçirmə mexanizmi yaratmışıq?' sualıdır. Bir çoxları ilk addımda dayanır və aləti quraşdırmağı son nöqtə hesab edir. Kiçik bir şeydən başlamağı tövsiyə edirəm: tez-tez baş verən bir ssenari seçin (məsələn, kataloq qiyməti və ya stiker çapı sorğusu), əvvəlcə otuz maddəlik standart cavab cədvəli qurun, sonra hər ay bir saatlıq yenidən daxiletmə sessiyası təşkil edin və AI-nin səhv cavablarını düzəltmək üçün istifadə edin. Bu dövrə düzgün işlədikdən sonra yaddaş funksiyasını əlavə etməyi və ya əhatə dairəsini genişləndirməyi düşünün. İnteqrasiya edilmiş xidmətlər təqdim edən təchizatçılar üçün bu, müştəri ilə uzunmüddətli əlaqə qurmaq üçün bir fürsətdir: müştərinin rəy dövrəsini yaxşı dizayn etsəniz, sistem getdikcə onun ehtiyaclarına daha uyğun olacaq və yarım ildən sonra istifadəsiz qalmayacaq

・Agentlər də 'vaxtında rəyə' ehtiyac duyurlar: Effective Feedback Compute və Agentlərin məqsədyönlü təcrübəsi