AI見積もりアシスタントが使えば使うほどズレていくのはなぜ？鍵は「フィードバック」にある

この1〜2ヶ月、顧客の印刷会社を訪問する中で、中小印刷会社の経営者から同じ悩みを何度も聞きました。「昨年導入したAI見積もりアシスタントや、LINEで自動応答するカスタマーサポートボット。当初は驚くほどの効果を感じたが、最近は進歩を感じないどころか、かえって的外れなミスが増えている」というものです

この現象について、Xuanliang Zhang氏らによる論文『Scaling Laws for Agent Harnesses via Effective Feedback Compute』が非常に明快に解説しています（原文の整理内容はWisely Chen氏の中国語版を参照しました）

この論文は、多くの人が陥りがちな直感に反する事実を定量的に示しています。それは、「計算能力（コンピューティング）を増やし、ツールを多用し、実行回数を増やせばAIは強くなるはずだ」という思い込みが、実は正しくないということです

論文では、raw tokens（生トークン）とtool calls（ツール呼び出し）を用いてタスク成功率を説明しようと試みていますが、相関係数R²は以下の通り低い結果にとどまりました

・0.33 〜

・0.42

これを印刷現場の言葉に置き換えると、AIサポートの会話ログを詳細に残し、見積もりの再計算回数を1回から3回に増やし、さらにデータベースを2つ接続したとしても、こうした「努力」の積み重ねは成果の3〜4割程度しか説明できず、残りの6割は投じたリソース量とは無関係であることを意味します

これは職人の弟子育成に例えられます。親方が弟子に「1日200枚の練習稿を刷れ」と命じても、刷り上がったものに対してダメ出しをせず、見当合わせがどこでずれたかを教えなければ、弟子は1万枚刷ってもそのレベルから一歩も成長しません。より上手くなるのではなく、ただ疲弊するだけなのです

論文の核心となる概念が「Effective Feedback Compute（効果的なフィードバック演算）」、略してEFCです。つまり、「すべての相互作用がカウントされるわけではなく、AIを真に成長させるのは『効果的なフィードバック』のみである」ということです

論文では、効果的なフィードバックには同時に4つの条件を満たす必要があると定義しています。これを印刷の現場に当てはめてみましょう

・Informative（有益である）：フィードバックが新しい情報をもたらすこと。例えば「見積もりが高い」とクレームが来ても、紙代が高いのか加工代が高いのかが分からなければ、それは有益なフィードバックとは言えません

・Valid（正しい）：フィードバックが信頼できること。ノイズや憶測ではないこと。「この客は価格を気にしない」と営業が適当にメモした情報が実は間違っていた場合、そのような誤ったフィードバックを入力することは、何もしないことよりも有害です

・Non-redundant（重複していない）：既に知っていることを繰り返さないこと。「この客はコート紙100kgを希望」という情報を100回記録しても、そこには新しい情報はありません

・Retained（活用される）：これが最も厳しい条件です。そのフィードバックは、次の意思決定に実際に反映されているか？ 営業チームがチャットで正しい判断を共有しても、誰も見積もりロジックに反映していなければ、それは活用されていないのと同じです

最も重要なデータがここにあります。論文が行った対照実験では、計算リソースを全く変えずにフィードバックの品質だけを向上させたところ、タスク成功率が27％から90％へと跳ね上がりました

コストは1円もかからず、フィードバックを「有効」にしただけで成功率は3倍以上になったのです。再計算後の説明力R²は、

・0.33 から一気に

・0.94 〜

・0.99 へと上昇しました

この考え方は、学習科学において長年語られてきた「意図的な練習（Deliberate Practice）」そのものです。フィードバックは具体的かつ正確で、次回の練習に反映されなければなりません。反省なき練習、修正なき反省は、練習していないのと同義です。AIも人間と同様に、このアプローチが不可欠なのです

原理を理解した上で、次に問われるのは「印刷のワークフローの中で、どうやってこのループを実際に組み込むか」です。今週から着手できる実践的な手法をいくつか提案します

第一に、「正解データ（Ground Truth）」照合表を作成してください。過去半年間で最も多く見積もった20〜30種類の品目（中綴じカタログ、無線綴じ冊子、ステッカー、紙箱など）を選び、正しい品番、用紙、加工方法、妥当な価格帯をまとめたリストを作ります。AIの見積もりとこのリストが一致しているかを検証することで初めて、「正誤の信号」が分かり、AIを修正することができます

第二に、AIがミスをするたびに記録を残し、その根因を特定することです。「見積もりを間違えた」ではなく、「250kgのカード紙を200kgとして計算した」「ニス引き加工の費用を計算し忘れた」と具体的に記録します。これがInformative（有益）な条件を満たし、行動可能なフィードバックとなります

第三に、失敗事例を定期的にAIに再入力（バックプロパゲーション）することです。毎月1時間かけて、その月にAIが見積もりを間違えた、あるいはサポート対応を誤ったケースを整理し、AIのプロンプトやルールを修正します。この段階こそがRetained（活用）であり、フィードバックが「閉合」したかどうかがここで決まります。流れていく会話ログだけでは意味がなく、整理・修正して初めて「活用された」と言えます

第四に、機能を追加する際は、常にEFCの第4条件に照らして検討することです。ツールを1つ増やしたい、自動返信を増やしたいと思った時、「それが本当にAIの次回の判断を変えるか？」を自問してください。もしそうでなければ、それは単なる経費の無駄遣いであり、管理負担が増えるだけです

これはデザイン業務も同じです。AI支援で画像生成、修正、提案書作成を行う場合、顧客からの修正指示がそのままフィードバックのシグナルになります。「なぜ顧客はこの案を却下したのか」を具体的に記録し、次の提案でそれを回避すれば命中率は上がります。却下されたファイルを放置し、原因を分析せずに100回修正案を出しても、その場を回遊しているだけです

一部のベンダーは「AIが自社の習慣を記憶する」といった機能を推奨しています。魅力的に聞こえますが、論文の著者はこれについて重要な警告を発しています

記憶アーキテクチャは4つの条件のうち、最も難しい「Retain（活用）」を解決しますが、それは「記憶する」だけであり、前三条件（有益か、正しいか、重複していないか）をフィルタリングしてくれるわけではありません

言い換えれば、誤った情報、重複した情報、ノイズのようなフィードバックを全て記憶させてしまうと、これらの誤った記憶が呼び出され続け、記憶がない場合よりもはるかに有害な結果をもたらします。単発のミスを「永久的なミス」へと拡大させてしまうのです

したがって、記憶機能を導入する際は、必ず「書き込みゲート（検閲）」を設けてください。その情報は本当に有益で、信頼でき、重複していないか？ ゲートを通過したものだけを保存するのです。印刷会社にとって、営業担当者がメモしただけの未確認の顧客の好みを、自動的にシステムの「事実」にさせないことが極めて重要です

正直に言っておく必要がありますが、この論文は万能薬ではありません。論文で示された

・0.94 から

・0.99 への成功率の向上は、結果を事後的に知ることができる理想的な情報（Oracle-EFC）を用いた理論上の天井値であり、現実のシステムでは達成困難な数字です。「フィードバックが実際に決定を変えたか」を判断するのも非常に難しい作業です。しかし、これらの割引要素を考慮しても、この論文が提示する核心的な方向性は非常に支持できます

今後のAIツール競争は、機能の多さや対話ウィンドウの長さではなく、「いかにフィードバックを真に活用できるか」にかかっています。優れたAIアシスタントとは、AIに多くの作業をさせることではなく、良い職人のように、一歩一歩確実に学び成長させるパートナーです

・AIに計算リソースとツールを増やすだけでは、成果の3〜4割しか説明できない（R²：

・0.33

・〜 0.42）。残りの6割はフィードバックの品質で決まる

・計算リソースを変えず、フィードバックを「有効」にするだけで、成功率は27％から90％へと向上する。鍵は「量を増やす」ことではなく「正しく練習する」こと

・効果的なフィードバックには「有益・正確・重複なし・活用される」の4条件が必要。4番目が欠ければ全てが無駄になる

・AIの記憶機能は「記録する」だけであり、ミスをフィルタリングしない。ゲート（検閲）がなければ、誤った記憶は無知よりも毒になる

・AIによる見積もりや修正の失敗事例を毎月分析し、再入力することが、AIをより正確にするための鍵である

印刷会社やデザインスタジオにとって、真の示唆は「AIを導入すべきか否か」ではなく、「導入後の検証・改善メカニズムを設計できているか」という点にあります。多くの人は最初の一歩で止まってしまい、ツールを繋いだことをゴールにしてしまいます。まずは小さなことから始めることをお勧めします。頻度の高い業務（カタログ見積もりやステッカー試作の問い合わせなど）を一つ選び、まず30項目程度の正解リストを作成する。そして毎月1時間、AIが間違えたケースを修正するための時間を確保する。このサイクルが順調に回るようになってから、記憶機能の導入や対象範囲の拡大を検討すべきです。統合サービスを行うベンダーにとっても、これは顧客と長期的な関係を築くための突破口となります。顧客のフィードバックループを設計してあげれば、システムは使うほどに顧客のニーズに合致し、半年で「精度が悪い」と捨てられることはなくなるはずです

・AIエージェントにも「即時フィードバック」が必要：Effective Feedback Computeとエージェントの「意図的な練習（Deliberate Practice）」