কেন আপনার AI কোটেশন অ্যাসিস্ট্যান্ট সময়ের সাথে সাথে ভুল পথে যাচ্ছে? এর চাবিকাঠি হলো প্রতিক্রিয়া (Feedback)

গত এক-দুই মাসে বিভিন্ন ক্লায়েন্টের সাথে কথা বলে আমি লক্ষ্য করেছি যে, অনেক ছোট ও মাঝারি প্রিন্টিং কারখানার মালিক একই সমস্যার সম্মুখীন হচ্ছেন। গত বছর তারা যে AI কোটেশন অ্যাসিস্ট্যান্ট বা অটোমেটেড LINE কাস্টমার সার্ভিস চ্যাটবট導入 করেছিলেন, শুরুতে তা খুব চমৎকার কাজ করলেও এখন আর কোনো উন্নতি দেখা যাচ্ছে না, বরং মাঝেমধ্যে তারা আরও উদ্ভট ভুল করছে।

এই ঘটনাটি সম্প্রতি Xuanliang Zhang এবং তার সহকর্মীদের লেখা 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》 নামক গবেষণাপত্রে খুব স্পষ্টভাবে তুলে ধরা হয়েছে। আমি Wisely Chen-এর লেখা এই গবেষণাপত্রের সারাংশটি পড়েছি।

এটি খুব স্পষ্টভাবে একটি অবৈজ্ঞানিক ধারণাকে ভুল প্রমাণ করেছে: আপনি ভাবেন যে 'বেশি কম্পিউট পাওয়ার, বেশি টুল এবং বেশি বারবার চালানোর' মাধ্যমে AI শক্তিশালী হয়ে উঠবে, কিন্তু বাস্তবে তা হয় না।

গবেষণাপত্রটিতে raw tokens এবং tool calls ব্যবহার করে কাজের সাফল্যের হার ব্যাখ্যা করা হয়েছে, যেখানে R² সহগ ছিল মাত্র:

・0.33 থেকে

・0.42

প্রিন্টিং কারখানার ভাষায় সহজ করে বললে: আপনি AI কাস্টমার সার্ভিসের কথোপকথনের রেকর্ড বিস্তারিতভাবে রাখছেন, কোটেশন গণনার সংখ্যা একবার থেকে তিনবার করছেন, অথবা আরও দুটি ডেটাবেস যুক্ত করছেন—এইসব 'আমি অনেক কিছু করেছি' ধরনের কাজগুলো সাফল্যের মাত্র ৩০-৪০% ব্যাখ্যা করতে পারে। বাকি ৬০% আপনার কতটুকু সম্পদ ব্যবহার করছেন তার সাথে কোনো সম্পর্ক রাখে না।

আমি এটিকে একজন শিক্ষানবিশের (apprentice) প্রশিক্ষণের সাথে তুলনা করি। একজন ওস্তাদ যদি শিক্ষানবিশকে প্রতিদিন দুইশটি অনুশীলন কপি ছাপতে দেন, কিন্তু ছাপার পর কোনো ভুল ধরিয়ে না দেন বা রঙের ভুলগুলো কোথায় তা না জানান, তবে সেই শিক্ষানবিশ দশ হাজার কপি ছাপলেও তার মান সেই একই থাকবে। সে দক্ষ হয়নি, শুধু আরও বেশি ক্লান্ত হয়েছে।

গবেষণাপত্রটির মূল ধারণা হলো Effective Feedback Compute বা সংক্ষেপে EFC। এর মানে হলো: সব ধরণের ইন্টারঅ্যাকশন বা মিথস্ক্রিয়া কার্যকর নয়, শুধুমাত্র 'কার্যকর প্রতিক্রিয়া' বা 'Effective Feedback'-ই AI-কে প্রকৃত উন্নতি করতে সাহায্য করে।

এটি কার্যকর প্রতিক্রিয়ার চারটি শর্ত নির্ধারণ করে, আমি প্রিন্টিংয়ের প্রেক্ষাপটে সেগুলো ব্যাখ্যা করছি:

・Informative (তথ্যবহুল): প্রতিক্রিয়াটি নতুন কোনো তথ্য নিয়ে আসে। ক্লায়েন্ট যদি শুধু বলে যে কোটেশন দামি, কিন্তু কাগজে নাকি ফিনিশিংয়ে দাম বেশি তা না বলে, তবে এই প্রতিক্রিয়া অর্থহীন।

・Valid (সঠিক): প্রতিক্রিয়াটি বিশ্বাসযোগ্য হতে হবে, এটি কোনো গোলমাল বা অনুমাননির্ভর হতে পারবে না। বিক্রয়কর্মী যদি ভুল করে লিখে রাখেন যে 'এই ক্লায়েন্ট দামের পরোয়া করে না', তবে সেই ভুল তথ্য সিস্টেমের জন্য আরও ক্ষতিকর।

・Non-redundant (অ-পুনরাবৃত্ত): ইতিমধ্যে জানা আছে এমন তথ্য বারবার না বলা। সিস্টেম যদি একশবার রেকর্ড করে যে 'ক্লায়েন্ট ১০০ পাউন্ডের আর্ট পেপার চায়', তাতে কোনো নতুন তথ্য যোগ হয় না।

・Retained (ব্যবহৃত): এটি সবচেয়ে গুরুত্বপূর্ণ। এই প্রতিক্রিয়া কি আসলেই পরবর্তী সিদ্ধান্ত গ্রহণে ব্যবহৃত হয়েছে? বিক্রয়কর্মী গ্রুপে সঠিক পরামর্শ দিলেও যদি তা কোটেশন লজিক বা সিস্টেমে অন্তর্ভুক্ত না হয়, তবে সেই পরামর্শের কোনো মূল্য নেই।

সবচেয়ে গুরুত্বপূর্ণ সংখ্যাটি এখানে: গবেষণাপত্রটিতে একটি নিয়ন্ত্রিত পরীক্ষা চালানো হয়েছে, যেখানে কম্পিউট বাজেট অপরিবর্তিত রেখে শুধুমাত্র প্রতিক্রিয়ার মান উন্নত করা হয়েছে, তাতে কাজের সাফল্যের হার ২৭% থেকে ৯০%-এ উন্নীত হয়েছে।

খরচ এক পয়সাও বাড়েনি, শুধুমাত্র ফিডব্যাক কার্যকর করার মাধ্যমেই সাফল্যের হার তিন গুণের বেশি হয়েছে। পুনরায় গণনার পর, R² ব্যাখ্যা করার ক্ষমতা নিম্নরূপ ছিল:

・0.33 থেকে এক লাফে

・0.94 এবং

・0.99 পর্যন্ত পৌঁছেছে

এই পদ্ধতিটি আসলে কয়েক দশক ধরে শেখার বিজ্ঞানে (learning science) আলোচিত 'deliberate practice' বা 'উদ্দেশ্যমূলক অনুশীলন'-এর মতোই: প্রতিক্রিয়া অবশ্যই সুনির্দিষ্ট, সঠিক এবং পরবর্তী অনুশীলনে কার্যকর হতে হবে। অনুশীলন করার পর পর্যালোচনা না করা বা পর্যালোচনা করার পর পরিবর্তন না করা মানে হলো কোনো অনুশীলনই না করা। AI-এর ক্ষেত্রেও মানুষে মতো একই নিয়ম প্রযোজ্য।

মূল নীতিটি জানার পর, এখন প্রশ্ন হলো প্রিন্টিংয়ের কাজের প্রক্রিয়ায় কীভাবে এই লুপটি কার্যকরভাবে যুক্ত করা যায়। আমি এই সপ্তাহ থেকেই শুরু করা যায় এমন কয়েকটি উপায় দিচ্ছি।

প্রথমত, একটি 'প্রমিত উত্তর' (Ground Truth) তালিকা তৈরি করুন। গত ছয় মাসে সবচেয়ে বেশিবার ব্যবহৃত বিশ-ত্রিশটি পণ্যের তালিকা বের করুন—যেমন সেডল স্টিচ ক্যাটালগ, পারফেক্ট বাউন্ড বই, স্টিকার, পেপার বক্স। এদের সঠিক আইটেম কোড, কাগজ, ফিনিশিং এবং যুক্তিসঙ্গত কোটেশনের রেঞ্জ একটি নথিতে গুছিয়ে রাখুন। AI-এর দেওয়া কোটেশন যদি এই তথ্যের সাথে না মেলে, তবেই আপনি ভুলটি ধরতে পারবেন এবং সঠিক করতে পারবেন।

দ্বিতীয়ত, প্রতিবার AI ভুল করলে তা রেকর্ড করুন এবং তার মূল কারণ খুঁজে বের করুন। শুধু 'কোটেশন ভুল' না লিখে লিখুন—'এটি ২৫০ পাউন্ডের কার্ডবোর্ডকে ২০০ পাউন্ড ধরেছে' বা 'গ্লসি ফিনিশিংয়ের খরচ যোগ করতে ভুলে গেছে'। এটি 'Informative' শর্তটি পূরণ করে—সুনির্দিষ্ট তথ্য যা পরবর্তীতে সংশোধনযোগ্য।

তৃতীয়ত, ব্যর্থতার উদাহরণগুলো নিয়মিত সিস্টেমের ভেতর পুনরায় প্রবেশ করান (Retained)। প্রতি মাসে এক ঘণ্টা সময় নিয়ে ওই মাসে AI-এর দেওয়া ভুল কোটেশন বা কাস্টমার সার্ভিসের ভুল উত্তরের কেসগুলো নিয়ে তার প্রম্পট বা নিয়মে পরিবর্তন আনুন। এই পদক্ষেপটিই হলো 'Retained', এখানেই বোঝা যাবে প্রতিক্রিয়াটি 'বন্ধ' (Closed loop) হয়েছে কি না। শুধু কথোপকথনের রেকর্ড রাখলে হবে না, সেগুলোকে গুছিয়ে নিয়ম উন্নত করলেই তা কার্যকর হবে।

চতুর্থত, নতুন কোনো ফিচার যুক্ত করার আগে EFC-এর চতুর্থ শর্তটি যাচাই করুন। একটি নতুন টুল বা অটোমেটেড রিপ্লাই সিস্টেম যুক্ত করার আগে নিজেকে প্রশ্ন করুন: এটি কি আসলেই AI-এর পরবর্তী সিদ্ধান্ত গ্রহণে কোনো পরিবর্তন আনবে? যদি না আনে, তবে এটি শুধুই অর্থ অপচয় এবং রক্ষণাবেক্ষণের বোঝা বৃদ্ধি করবে।

ডিজাইনের ক্ষেত্রেও একই কথা প্রযোজ্য। আপনি যদি AI ব্যবহার করে ইমেজ তৈরি, ড্রাফট সংশোধন বা প্রস্তাবনা লিখেন, তবে ক্লায়েন্টের প্রতিটি মতামতই আপনার প্রতিক্রিয়া। 'ক্লায়েন্ট কেন এই ডিজাইনটি বাতিল করেছে' তা সুনির্দিষ্টভাবে লিখে রাখুন, পরের বার সেই ভুল এড়িয়ে চলুন—এভাবেই সাফল্য বাড়বে। শুধু ফাইলগুলো ফেলে না রেখে কারণগুলো বিশ্লেষণ করলেই উন্নতি সম্ভব।

কিছু কোম্পানি 'AI আপনার কোম্পানির অভ্যাস মনে রাখবে'—এ ধরনের মেমোরি ফিচারের প্রচার করে, যা শুনতে খুব আকর্ষণীয়। তবে গবেষণাপত্রে এ বিষয়ে একটি সতর্কবার্তা আছে, যা আমার খুব পছন্দের।

মেমোরি আর্কিটেকচার চারটি শর্তের মধ্যে সবচেয়ে কঠিন শর্ত 'Retained' সমাধান করে, কিন্তু এটি শুধু তথ্য 'মনে রাখে', তথ্যগুলো সঠিক নাকি ভুল বা পুনরাবৃত্তিমূলক তা যাচাই করে না।

অন্য কথায়, আপনি যদি ভুল, পুনরাবৃত্তিমূলক এবং আবর্জনার মতো প্রতিক্রিয়াগুলোও সিস্টেমের ভেতর জমা করেন, তবে এই ভুল স্মৃতিগুলো বারবার ব্যবহৃত হবে এবং তার ক্ষতিকর প্রভাব মেমোরি না থাকার চেয়েও বেশি হবে। এর ফলে 'ভুল হতে হতে আরও উদ্ভট হয়ে ওঠা' ঘটনাটি একবারের বদলে স্থায়ী হয়ে যাবে।

তাই যেকোনো মেমোরি ফিচার যুক্ত করার সময় অবশ্যই একটি 'রাইটিং গেটওয়ে' (Writing Gateway) বা ফিল্টার যুক্ত করুন: এই তথ্য কি যথেষ্ট কার্যকর, সঠিক এবং নতুন? নিশ্চিত হওয়ার পরই তা জমা করুন। প্রিন্টিং কারখানার ক্ষেত্রে এর অর্থ হলো—বিক্রয়কর্মীর隨手 (অগোছালো) রেকর্ড করা কোনো ক্লায়েন্ট পছন্দ বা যাচাই না করা তথ্যকে স্বয়ংক্রিয়ভাবে সিস্টেমের 'সত্য' হতে দেবেন না।

সততা সাথে বলতে গেলে, এই গবেষণাপত্রটি কোনো জাদুর কাঠি নয়। সেই

・0.94 থেকে

・0.99-এর上限 (সর্বোচ্চ সীমা), এটি এমন তথ্য ব্যবহার করে যা ফলাফল জানার পর পাওয়া যায় (গবেষণাপত্রে একে Oracle-EFC বলা হয়েছে), বাস্তব সিস্টেমে এটি পাওয়া অসম্ভব, তাই এটি একটি তাত্ত্বিক সীমা মাত্র। আর 'প্রতিক্রিয়া কি আসলেই সিদ্ধান্ত বদলেছে' তা নির্ণয় করাও কঠিন। কিন্তু এই সীমাবদ্ধতাগুলো সত্ত্বেও, আমি মূল ধারণার সাথে একমত।

ভবিষ্যতে AI টুলের প্রতিযোগিতা কার কয়টি ফিচার আছে তা নিয়ে হবে না, বরং কার ফিডব্যাক লুপ কার্যকরভাবে ব্যবহৃত হচ্ছে তা নিয়ে হবে। একটি ভালো AI অ্যাসিস্ট্যান্ট মানে এই নয় যে তাকে দিয়ে বেশি কাজ করাবো, বরং একজন ভালো মেন্টরের মতো তাকে এমনভাবে তৈরি করব যেন প্রতিটি কাজের মাধ্যমে সে নতুন কিছু শেখে।

・AI-কে আরও বেশি কম্পিউট পাওয়ার এবং টুল দিলে তা ফলাফলের মাত্র ৩০-৪০% ব্যাখ্যা করতে পারে (R²：

・0.33

・0

・42), বাকি ৬০% নির্ভর করে ফিডব্যাকের গুণমানের উপর

・কম্পিউট পাওয়ার অপরিবর্তিত রেখে শুধুমাত্র ফিডব্যাকের কার্যকারিতা বাড়ালে সাফল্যের হার ২৭% থেকে ৯০%-এ উন্নীত করা সম্ভব, পার্থক্যটি হলো 'সঠিকভাবে অনুশীলন' করা, 'বেশি অনুশীলন' করা নয়

・কার্যকর ফিডব্যাকের জন্য চারটি শর্ত পূরণ করতে হবে: তথ্যবহুল, সঠিক, অ-পুনরাবৃত্ত এবং অবশ্যই ব্যবহৃত হতে হবে—চতুর্থটি ছাড়া বাকি সব বৃথা

・AI মেমোরি ফিচার শুধু 'মনে রাখতে' পারে, ভুল ফিল্টার করতে পারে না; ফিল্টার না থাকলে ভুল স্মৃতি বেশি ক্ষতিকর

・AI কোটেশন বা ড্রাফট সংশোধনের ব্যর্থ উদাহরণগুলো মাসে একবার সিস্টেমে পুনরায় প্রবেশ করানোই তাকে আরও নির্ভুল করার মূল চাবিকাঠি

প্রিন্টিং কারখানা এবং ডিজাইন স্টুডিওগুলোর জন্য আসল শিক্ষা হলো 'AI ব্যবহার করা উচিত কি না' তা নয়, বরং 'ব্যবহারের পর কোনো পর্যালোচনা পদ্ধতি আছে কি না'। বেশিরভাগ মানুষ প্রথম ধাপেই থেমে যায় এবং টুল সংযোগ করাকেই শেষ মনে করে। আমার পরামর্শ হলো ছোট কোনো কাজ দিয়ে শুরু করুন: খুব সাধারণ কোনো বিষয় যেমন ক্যাটালগ কোটেশন বা স্টিকার স্যাম্পল ইনকোয়ারি বেছে নিন, প্রথমে ৩০টি আইটেমের একটি প্রমিত উত্তর তালিকা (Ground Truth) তৈরি করুন এবং প্রতি মাসে এক ঘণ্টা সময় রাখুন যেখানে শুধুমাত্র AI-এর ভুলগুলো নিয়ে নিয়ম সংশোধন করা হবে। এই লুপটি মসৃণ হয়ে গেলে তারপর মেমোরি ফিচার বা কাজের পরিধি বাড়ানোর কথা ভাবুন। ইন্টিগ্রেটেড সার্ভিস প্রদানকারী প্রতিষ্ঠানগুলোর জন্য এটি ক্লায়েন্টের সাথে দীর্ঘমেয়াদী সম্পর্কের একটি সুযোগ: আপনি যদি তাদের ফিডব্যাক লুপটি কার্যকরভাবে ডিজাইন করে দেন, তবে সিস্টেমটি তাদের প্রয়োজন অনুযায়ী আরও নিখুঁত হতে থাকবে, আর তা না হলে ব্যবহারের ছয় মাস পরই মানুষ 'অকার্যকর' বলে ফেলে দেবে।

・এজেন্টদেরও 'সময়োপযোগী প্রতিক্রিয়া' প্রয়োজন: Effective Feedback Compute এবং এজেন্টের deliberate practice