لماذا يزداد مساعد تسعير الذكاء الاصطناعي الخاص بك انحرافاً بمرور الوقت؟ السر في التغذية الراجعة

خلال زياراتي للعملاء في الشهرين الماضيين، طرح عليّ أصحاب العديد من المطابع الصغيرة والمتوسطة نفس السؤال: لقد قمنا بدمج مساعد التسعير بالذكاء الاصطناعي وروبوت خدمة العملاء التلقائي على تطبيق LINE، وكان الأداء مذهلاً في البداية، فكيف وصلنا إلى هذا المستوى حيث لا نرى أي تحسن، بل وأصبحت الأخطاء أكثر وضوحاً أحياناً؟

هذه الظاهرة مشروحة بوضوح في بحث حديث بعنوان 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》، من تأليف شوان ليانغ تشانغ (Xuanliang Zhang) وآخرين، وقد قرأت ملخصاً باللغة الصينية لهذا البحث بقلم ويسلي تشن (Wisely Chen)

يوضح البحث كمياً أمراً غير بديهي: أنت تعتقد أن "زيادة القوة الحوسبية، وإضافة المزيد من الأدوات، والتشغيل المتكرر" سيجعل الذكاء الاصطناعي أقوى، لكن هذا غير صحيح

استخدم البحث الرموز الأولية (raw tokens) واستدعاءات الأدوات (tool calls) لتفسير معدل نجاح المهام، حيث كان معامل الارتباط R² فقط:

・0.33 إلى

・0.42

بالترجمة إلى لغة مطبعة واقعية: إذا قمت بتفصيل سجلات محادثات خدمة العملاء بالذكاء الاصطناعي لأقصى درجة، وزدت عدد مرات إعادة حساب التسعير من مرة إلى ثلاث مرات، وربطت قاعدتي بيانات إضافيتين؛ فإن كل هذه الإجراءات التي قمت بها لا تفسر سوى 30-40% من النتائج، أما الـ 60% المتبقية فلا علاقة لها بمقدار الموارد التي تستهلكها

أشبه هذا بتدريب المتدربين. إذا طلب معلم من متدربه طباعة 200 مسودة تدريبية يومياً، لكن دون الإشارة إلى الأخطاء أو توضيح سبب انحراف الألوان، فسيظل المتدرب في نفس المستوى حتى لو طبع عشرة آلاف نسخة. إنه لم يصبح أكثر براعة، بل أصبح أكثر تعباً فقط

المفهوم الأساسي للبحث هو الحوسبة الفعالة للتغذية الراجعة (Effective Feedback Compute)، ويُختصر بـ EFC. وهذا يعني: ليست كل التفاعلات ذات قيمة، فقط "التغذية الراجعة الفعالة" هي التي تجعل الذكاء الاصطناعي يتحسن حقاً

يحدد البحث أربعة شروط لتكون التغذية الراجعة فعالة، وسأطبقها على سيناريوهات الطباعة:

・Informative (غنية بالمعلومات): يجب أن تجلب التغذية الراجعة معلومات جديدة. إذا اشتكى العميل من غلاء السعر دون تحديد ما إذا كان الغلاء في الورق أم في المعالجة اللاحقة، فهذه تغذية راجعة عديمة الفائدة

・Valid (صحيحة): يجب أن تكون التغذية الراجعة موثوقة وليست ضجيجاً أو تخميناً. إذا سجل موظف المبيعات عشوائياً أن "هذا العميل لا يهتم بالسعر" بينما الحقيقة عكس ذلك، فإن إدخال هذه التغذية الخاطئة يضر أكثر مما ينفع

・Non-redundant (غير متكررة): لا تكرر ما هو معلوم بالفعل. إذا سجل النظام مئة مرة أن "العميل يريد ورقاً مقاس 100 رطل (100 lb)"، فهذه ليست معلومات جديدة

・Retained (مُستخدمة فعلياً): هذا هو الشرط الأقوى. هل تم استخدام التغذية الراجعة فعلاً في القرار التالي؟ إذا قدم الموظف حكماً صحيحاً في المجموعة ولم يقم أحد بدمجه في منطق التسعير، فكأنه لم يقل شيئاً

إليك الرقم الأكثر أهمية: أجرى البحث تجربة مقارنة، حيث تم رفع جودة التغذية الراجعة فقط مع ثبات ميزانية القوة الحوسبية، مما أدى إلى رفع معدل نجاح المهام من 27% إلى 90%

لم تُنفق فلس واحد إضافي، فقط بجعل التغذية الراجعة فعالة، تضاعف معدل النجاح أكثر من ثلاث مرات. بعد إعادة الحساب، ارتفعت القوة التفسيرية R² من:

・0.33 قفزةً إلى

・0.94 وصولاً إلى

・0.99

هذا الطرح هو في الواقع "الممارسة المتعمدة" (deliberate practice) التي تتحدث عنها علوم التعلم منذ عقود: يجب أن تكون التغذية الراجعة محددة، وصحيحة، ومُستخدمة في الممارسة التالية. التدريب دون مراجعة، والمراجعة دون تغيير، تعني عدم التدريب. والذكاء الاصطناعي، مثل البشر، يتبع هذه القاعدة

بعد معرفة المبدأ، يصبح السؤال: كيف يمكن ربط هذه الحلقة المغلقة في سير عمل الطباعة؟ سأقدم بعض الإجراءات التي يمكن البدء بها هذا الأسبوع

أولاً: بناء جدول "الإجابات النموذجية". حدد العشرين أو الثلاثين صنفاً الأكثر طلباً في الأشهر الستة الماضية، مثل كتالوجات التجليد بالدبوس (Saddle Stitch)، والكتب ذات التجليد الغرائي (Perfect Binding)، والملصقات، والعلب الورقية، وقم بتنظيم أرقام القطع الصحيحة، والورق، والمعالجة اللاحقة، ونطاقات الأسعار المعقولة في "حقيقة أرضية" (ground truth). إذا كان السعر الذي يقدمه الذكاء الاصطناعي لا يطابق هذه القائمة، فلديك "إشارة للخطأ" يمكنك تصحيحها، وإلا فلن تعرف ما إذا كان السعر خاطئاً

ثانياً: سجل كل خطأ يرتكبه الذكاء الاصطناعي، وقم بتسجيل السبب الجذري. لا تكتفِ بتسجيل "سعر خاطئ"، بل سجل "لقد حسب ورق مقاس 250 رطل على أنه 200 رطل" أو "نسي حساب تكلفة الطلاء". وهذا يتوافق مع شرط Informative، حيث يجب أن يكون محدداً وقابلاً للتنفيذ

ثالثاً: قم بإعادة إدخال حالات الفشل بانتظام. خصص ساعة واحدة كل شهر لاستخدام حالات الأخطاء التي ارتكبها الذكاء الاصطناعي في التسعير أو خدمة العملاء خلال ذلك الشهر، لتعديل أوامر التوجيه (prompts) أو القواعد الخاصة به. هذه الخطوة هي تجسيد لشرط Retained، فالتغذية الراجعة لا تعتبر "مغلقة" إلا هنا. سجلات المحادثات المهملة لا قيمة لها؛ بل التعديل على القواعد وتحديثها هو ما يجعلها ذات قيمة

رابعاً: قبل إضافة أي وظيفة جديدة، اختبرها وفقاً للشرط الرابع من EFC. إذا كنت ترغب في ربط أداة إضافية أو فتح خدمة رد تلقائي أخرى، اسأل نفسك أولاً: هل سيغير هذا حقاً من حكم الذكاء الاصطناعي في المرة القادمة؟ إذا لم يحدث ذلك، فإن إضافته هي مجرد استهلاك للموارد وزيادة في أعباء الصيانة

الأمر نفسه ينطبق على التصميم. إذا كنت تستخدم الذكاء الاصطناعي للمساعدة في إنتاج الصور، أو تعديل المسودات، أو كتابة المقترحات، فإن ملاحظات العميل على التعديلات هي إشارة التغذية الراجعة الخاصة بك. سجل بدقة "لماذا رفض العميل هذا الإصدار"، وتجنب ذلك في المقترح التالي، وسترتفع نسبة نجاحك؛ أما ترك ملفات المسودات المرفوضة دون تلخيص أسبابها، يعني أنك ستبقى في مكانك مهما عدلت مئة نسخة

تروج بعض الشركات لميزات مثل "الذكاء الاصطناعي سيتذكر عادات شركتك"، وهو أمر يبدو رائعاً. ولكن في البحث تحذير أتفق معه تماماً

هيكل الذاكرة يحل الشرط الرابع والأصعب من الشروط الأربعة وهو "retain" (الاحتفاظ)، لكنه "فقط" يحل مشكلة التذكر، ولا يساعدك في تصفية ما إذا كانت الشروط الثلاثة الأولى صحيحة أو متكررة

بمعنى آخر، إذا قمت بتخزين التغذية الراجعة الخاطئة، والمتكررة، والمليئة بالضجيج دفعة واحدة، فسيتم استدعاء هذه الذكريات الخاطئة واستخدامها مراراً وتكراراً، وسيكون سمّها أكبر من عدم وجود ذاكرة أصلاً. وهذا يعني تضخيم "الخطأ والانحراف" من حادثة واحدة ليصبح دائماً

لذلك، عند إدخال أي وظيفة ذاكرة، يجب أن تكون مزودة بـ "بوابة إدخال": هل هذه المعلومات غنية بالمعلومات، وموثوقة، وغير متكررة؟ إذا اجتازت الاختبار، قم بتخزينها. بالنسبة للمطابع، يعني هذا عدم السماح لتفضيلات العملاء التي يسجلها الموظفون عشوائياً ودون تدقيق، بأن تتحول تلقائياً إلى "حقائق" للنظام

يجب أن أكون صادقاً أيضاً، هذا البحث ليس حلاً سحرياً. ذلك النطاق من:

・0.94 إلى

・0.99 كحد أقصى، يستخدم معلومات مثالية (ما يسميه البحث Oracle-EFC) حيث تُعرف الإجابة بعد وقوع الحدث، وهو سقف نظري لا يمكن للأنظمة الواقعية تحقيقه في الغد. كما أن شرط "ما إذا كانت التغذية الراجعة قد غيرت القرار فعلياً" يصعب الحكم عليه بحد ذاته. ومع ذلك، فحتى مع هذه التخفيضات، أنا أؤيد التوجه الأساسي بقوة

المنافسة بين أدوات الذكاء الاصطناعي في المستقبل لن تكون حول من لديه وظائف أكثر أو صناديق محادثة أطول، بل حول من يمكنه جعل كل تغذية راجعة تُستخدم فعلاً. المساعد الجيد بالذكاء الاصطناعي ليس هو الذي يجعله يعمل أكثر، بل هو مثل المعلم الجيد، يجعله يتعلم شيئاً جديداً في كل خطوة يخطوها

・تخصيص المزيد من القوة الحوسبية والأدوات للذكاء الاصطناعي لا يفسر سوى 30-40% من النتائج (R²: 0.33 إلى 0.42)، بينما تعتمد الـ 60% المتبقية على جودة التغذية الراجعة

・الحفاظ على نفس القوة الحوسبية مع جعل التغذية الراجعة فعالة فقط يمكن أن يرفع معدل النجاح من 27% إلى 90%؛ فالفرق يكمن في "التدريب الصحيح" وليس "التدريب المكثف"

・يجب أن تكون التغذية الراجعة الفعالة: غنية بالمعلومات، صحيحة، غير متكررة، ومُستخدمة فعلياً؛ فإذا فُقد الشرط الرابع، فلا فائدة من التدريب

・وظيفة ذاكرة الذكاء الاصطناعي تحل فقط مشكلة "التذكر"، ولا تساعد في تصفية الأخطاء؛ فبدون بوابة إدخال، تصبح الذاكرة الخاطئة أكثر ضرراً من عدم وجود ذاكرة

・إعادة إدخال حالات الفشل في تسعير الذكاء الاصطناعي وتعديل المسودات مرة واحدة شهرياً هو الإجراء الرئيسي لجعل أداء الذكاء الاصطناعي أكثر دقة مع مرور الوقت

بالنسبة للمطابع واستوديوهات التصميم، فإن الإلهام الحقيقي ليس في "هل يجب أن ندمج الذكاء الاصطناعي أم لا"، بل في "هل صممنا آلية للمراجعة بعد الدمج؟". يعلق معظم الناس في الخطوة الأولى ويتوقفون، معتبرين توصيل الأداة هو النهاية. أقترح البدء بأمر صغير: اختر سيناريو عالي التكرار، مثل تسعير الكتالوج أو الاستفسار عن عينات الملصقات، وقم أولاً ببناء جدول يحتوي على 30 إجابة نموذجية، ثم حدد ساعة واحدة شهرياً لإعادة إدخال التعديلات، مخصصة حصرياً لاستخدام حالات الأخطاء التي أجاب عنها الذكاء الاصطناعي لتعديل القواعد. عندما تسير هذه الحلقة المغلقة بسلاسة، فكر حينها في إضافة وظيفة الذاكرة أو توسيع النطاق. بالنسبة للشركات التي تقدم خدمات متكاملة، يعد هذا أيضاً مدخلاً للارتباط طويل الأمد مع العميل: إذا ساعدت العميل في تصميم حلقة تغذية راجعة مغلقة، فسيصبح النظام أكثر توافقاً مع احتياجاته بمرور الوقت، بدلاً من أن يتم التخلص منه بعد ستة أشهر لعدم دقته

・Agent يحتاج أيضاً إلى "تغذية راجعة فورية": الحوسبة الفعالة للتغذية الراجعة (Effective Feedback Compute) وممارسة الذكاء الاصطناعي المتعمدة (Deliberate Practice)