Чому ваш AI-помічник для розрахунку вартості стає дедалі гіршим? Все залежить від зворотного зв'язку

Останні місяці я відвідував клієнтів і чув одне й те саме питання від власників середніх друкарень: «Ми впровадили AI-помічника для розрахунку вартості та чат-бота для LINE, спочатку це вражало, а чому зараз відчуття, що прогресу немає, а іноді помилки стають ще абсурднішими?»

Цей феномен детально описано у нещодавній статті «Scaling Laws for Agent Harnesses via Effective Feedback Compute», автором якої є Xuanliang Zhang та інші. Я читав переклад цієї роботи, підготовлений Wisely Chen

У статті чітко кількісно оцінюється контрінтуїтивний факт: ви думаєте, що «додавши більше обчислювальної потужності, інструментів або спроб», AI стане потужнішим, але це не так

Автори використовували raw tokens та tool calls для пояснення успішності виконання завдань, де коефіцієнт кореляції R² становив лише:

・від 0.33 до

・0.42

Простими словами для друкарень: ви робите записи діалогів AI максимально детальними, збільшуєте кількість перерахунків вартості з одного до трьох, підключаєте ще дві бази даних — ці дії «я зробив багато всього» пояснюють лише 30-40% успіху. Решта 60% не залежать від того, скільки ресурсів ви витрачаєте

Я порівнюю це з навчанням учня. Майстер змушує учня друкувати двісті пробних відбитків на день, але ніколи не вказує на помилки та не пояснює, де порушено суміщення кольорів. Учень може надрукувати десять тисяч аркушів, але залишиться на тому самому рівні. Він не став майстернішим, він просто втомився

Ключова концепція статті називається Effective Feedback Compute, скорочено EFC. Це означає: не всі взаємодії мають значення, лише «ефективний зворотний зв'язок» змушує AI реально розвиватися

Визначення ефективного зворотного зв'язку передбачає одночасне виконання чотирьох умов, які я адаптував під сценарії друку:

・Informative (Інформативність): Зворотний зв'язок несе нову інформацію. Якщо клієнт каже, що ціна зависока, але не уточнює — через папір чи післядрукарську обробку, то це «порожній» зв'язок

・Valid (Достовірність): Зворотний зв'язок має бути надійним, без шуму чи припущень. Якщо менеджер записав «клієнту байдуже на ціну», а насправді це не так, то внесення такої помилкової інформації гірше, ніж її відсутність

・Non-redundant (Без повторів): Не повторюйте вже відоме. Система вже сто разів записала «клієнту потрібен крейдований папір 100 г/м²», це не несе нової інформації

・Retained (Використання): Найважливіший пункт. Чи дійсно цей зв'язок вплинув на наступне рішення? Якщо менеджер у групі вказав на правильне рішення, але ніхто не оновив логіку розрахунку, це марна робота

Найважливіша цифра тут: автори провели порівняльний експеримент, де при незмінному бюджеті обчислювальної потужності лише підвищення якості зворотного зв'язку збільшило успішність виконання завдань з 27% до 90%

Без жодних додаткових витрат, лише завдяки тому, що зворотний зв'язок став ефективним, успішність зросла більш ніж утричі. Після перерахунку коефіцієнт пояснюваності R² стрибнув з:

・0.33 одразу до

・0.94 - 0.99

Цей підхід насправді є «навмисною практикою» (deliberate practice), про яку наука про навчання говорить десятиліттями: зворотний зв'язок має бути конкретним, правильним і впровадженим у наступну практику. Працювати без аналізу або аналізувати, але не змінювати підхід — це все одно що не тренуватися зовсім. AI працює так само, як і люди

Знаючи принцип, проблема полягає в тому, як інтегрувати цю петлю в процеси друку. Ось кілька кроків, які можна почати робити вже цього тижня

По-перше, створіть таблицю «стандартних відповідей». Знайдіть 20-30 найбільш популярних видів продукції за останні пів року: каталоги на скобі, книги з клейовим безшвейним скріпленням, наклейки, коробки. Упорядкуйте правильні артикули, папір, післядрукарську обробку та діапазони розумних цін у «ground truth» (еталонні дані). Якщо AI дає ціну, яка не збігається з цим, ви матимете «сигнал про помилку» для корекції, інакше ви навіть не дізнаєтеся, що він рахує неправильно

По-друге, щоразу, коли AI припускається помилки, фіксуйте це з вказанням першопричини. Не записуйте просто «помилка в розрахунку», записуйте: «порахував картон 250 г/м² як 200 г/м²» або «забув порахувати вартість лакування». Це відповідає умові Informative — конкретика, на яку можна вплинути

По-третє, регулярно «підживлюйте» систему кейсами з помилками. Витрачайте годину на місяць, щоб взяти приклади, де AI помилився в розрахунках або відповідях клієнтам, і виправити його підказки (prompts) або правила. Це саме та дія Retained — чи замкнулася петля, видно саме тут. Записи діалогів, які просто «пропливли повз», не рахуються, лише систематизовані та використані для покращення правила дані мають значення

По-четверте, перед додаванням нової функції перевірте її за четвертою умовою EFC. Хочете підключити новий інструмент або додати автоматичну відповідь? Запитайте себе: чи дійсно це змінить наступне рішення AI? Якщо ні, то це просто спалювання грошей та збільшення витрат на обслуговування

Те саме стосується дизайну. Якщо ви використовуєте AI для створення зображень, редагування макетів або написання пропозицій, відгуки клієнтів про правки — це ваш сигнал зворотного зв'язку. Фіксуйте конкретно, чому клієнт відхилив цей варіант, і уникайте цього в наступній пропозиції — так зросте відсоток влучань. Якщо просто ігнорувати причини відхилень, можна редагувати 100 версій і стояти на місці

Деякі постачальники пропонують функції пам'яті: «AI запам'ятає звички вашої компанії», що звучить привабливо. Але у статті є попередження, з яким я повністю згоден

Архітектура пам'яті вирішує четверту, найскладнішу умову — «retain» (збереження), але вона «лише» вирішує завдання запам'ятовування, не допомагаючи відфільтрувати, чи правильна ця інформація і чи не є вона повтором

Іншими словами, якщо ви завантажите туди помилкові, повторювані або шумові дані, ці помилкові спогади будуть постійно викликатися, і їхня токсичність буде більшою, ніж відсутність пам'яті. Це перетворює «поодинокі помилки» на постійну проблему

Тому, впроваджуючи будь-яку функцію пам'яті, обов'язково встановіть «шлюз запису»: чи є ця інформація достатньо змістовною, достовірною та унікальною? Перевірили — тоді зберігайте. Для друкарні це означає не дозволяти автоматично перетворювати на «факти» системи випадкові нотатки менеджерів про вподобання клієнтів, які не були перевірені

Також треба чесно визнати, що ця стаття — не панацея. Той рівень:

・від 0.94 до

・0.99

досягається за допомогою ідеальної інформації, відомої після факту (у статті це називається Oracle-EFC). Реальні системи такого не можуть, тому це теоретична стеля, а не цифри, які ви отримаєте завтра. І пункт про те, чи дійсно «зворотний зв'язок змінив рішення», сам по собі важко оцінити. Проте, навіть враховуючи ці застереження, я повністю підтримую основний напрямок

Конкуренція AI-інструментів у майбутньому полягатиме не в тому, у кого більше функцій або довші чат-боти, а в тому, хто зможе зробити кожен зворотний зв'язок дійсно використаним. Гарний AI-помічник — це не той, який робить багато роботи, а той, хто, подібно до доброго учня, вчиться на кожному своєму кроці

・Надання AI більшої потужності та інструментів пояснює лише 30-40% результатів (R²:

・0.33

・0

・42), решта 60% залежать від якості зворотного зв'язку

・При незмінній потужності лише підвищення якості зворотного зв'язку може підняти успішність виконання завдань з 27% до 90%. Різниця в «правильному тренуванні», а не в «кількості тренувань»

・Ефективний зворотний зв'язок має бути: змістовним, правильним, не повторюваним і використаним. Відсутність четвертого пункту — це робота даремно

・Функція пам'яті AI лише вирішує завдання «запам'ятовування», але не фільтрує помилки; без встановленого шлюзу запису помилкова пам'ять гірша, ніж її відсутність

・Щомісячне внесення випадків помилок у розрахунках та редагуванні AI — це ключова дія, яка робить його точнішим з кожним разом

Для друкарень та дизайн-студій справжнє натхнення полягає не в питанні «чи варто впроваджувати AI», а в тому, «чи розроблено механізм перегляду після впровадження». Більшість людей зупиняються на першому кроці, вважаючи підключення інструменту фінальною точкою. Рекомендую почати з малого: виберіть часто повторюваний сценарій, наприклад, розрахунок вартості каталогу або запит на пробний друк наклейок, спочатку створіть таблицю з тридцяти стандартних відповідей, а потім виділіть одну годину на місяць для перегляду та «підживлення» системи кейсами, де AI помилився. Коли ця петля запрацює, тоді можна думати про впровадження пам'яті або розширення масштабів. Для компаній, що надають інтегровані послуги, це також спосіб довготривалої прив'язки клієнта: ви проектуєте петлю зворотного зв'язку для клієнта, система стає дедалі більше адаптованою до його потреб, замість того, щоб через пів року її викинули як неточну

・Агентам також потрібен «своєчасний зворотний зв'язок»: Effective Feedback Compute та свідома практика (deliberate practice) для агентів