ทำไมผู้ช่วยประเมินราคา AI ของคุณถึงยิ่งใช้ยิ่งเพี้ยน? กุญแจสำคัญอยู่ที่การให้ข้อมูลป้อนกลับ (Feedback)

ในช่วงหนึ่งถึงสองเดือนที่ผ่านมา ผมได้ไปพบลูกค้าและพบว่าเจ้าของโรงพิมพ์ขนาดกลางหลายแห่งถามเรื่องเดียวกันคือ ผู้ช่วยประเมินราคา AI หรือระบบแชทบอทตอบคำถามลูกค้าผ่าน LINE ที่ติดตั้งไปเมื่อปีที่แล้ว ตอนเริ่มทดลองใช้ผลลัพธ์น่าประทับใจมาก แต่ทำไมใช้มาถึงตอนนี้กลับรู้สึกว่าไม่มีการพัฒนา บางครั้งกลับทำพลาดแย่ลงกว่าเดิมด้วยซ้ำ

ปรากฏการณ์นี้ บทความวิจัยเรื่อง《Scaling Laws for Agent Harnesses via Effective Feedback Compute》ที่เขียนโดย Xuanliang Zhang และคณะ ได้อธิบายไว้อย่างชัดเจน ซึ่งผมได้อ่านสรุปเนื้อหาภาษาจีนจาก Wisely Chen

บทความนี้ได้พิสูจน์ให้เห็นถึงความจริงที่สวนทางกับสัญชาตญาณ: คุณอาจคิดว่า "การเพิ่มพลังการประมวลผล (Compute), เพิ่มเครื่องมือเชื่อมต่อ, หรือรันงานซ้ำหลายๆ รอบ" จะทำให้ AI เก่งขึ้น แต่จริงๆ แล้วไม่ใช่เลย

งานวิจัยใช้ค่า raw tokens และ tool calls เพื่ออธิบายอัตราความสำเร็จของงาน (Task Success Rate) ซึ่งพบว่าค่าสัมประสิทธิ์สหสัมพันธ์ (R²) มีเพียง:

・0.33 ถึง

・0.42

หากแปลเป็นภาษาชาวบ้านในหน้างานโรงพิมพ์: การที่คุณบันทึกประวัติการสนทนาของ AI จนละเอียดที่สุด, เพิ่มจำนวนครั้งในการคำนวณราคาจากหนึ่งครั้งเป็นสามครั้ง, หรือเชื่อมต่อฐานข้อมูลเข้าไปอีกสองสามแห่ง การกระทำเหล่านี้ที่ดูเหมือนว่า "ฉันทำไปเยอะแล้ว" แท้จริงแล้วอธิบายความสำเร็จได้เพียงสามถึงสี่ส่วนเท่านั้น ส่วนที่เหลืออีกหกส่วนไม่ได้เกี่ยวกับจำนวนทรัพยากรที่คุณทุ่มเทลงไปเลย

ผมเปรียบเทียบเรื่องนี้กับการสอนเด็กฝึกงาน หากช่างพิมพ์ให้เด็กฝึกงานพิมพ์งานวันละสองร้อยแผ่น แต่หลังจากพิมพ์เสร็จไม่เคยตรวจสอบจุดบกพร่อง ไม่เคยบอกว่าสีเหลื่อมตรงไหน เด็กคนนี้พิมพ์ไปหนึ่งหมื่นแผ่นระดับฝีมือก็ยังเท่าเดิม เขาไม่ได้เก่งขึ้น เขาแค่เหนื่อยขึ้น

แนวคิดหลักของงานวิจัยนี้เรียกว่า Effective Feedback Compute หรือเรียกสั้นๆ ว่า EFC ซึ่งหมายความว่า: ไม่ใช่ทุกการโต้ตอบจะมีผล แต่มีเพียง "การให้ Feedback ที่มีประสิทธิภาพ" เท่านั้นที่จะทำให้ AI พัฒนาขึ้นได้อย่างแท้จริง

งานวิจัยได้กำหนดเงื่อนไขของการให้ Feedback ที่มีประสิทธิภาพไว้สี่ประการ ผมจะลองเทียบกับสถานการณ์จริงในโรงพิมพ์ให้ดูทีละข้อ:

・Informative (ต้องมีเนื้อหา): Feedback ต้องนำมาซึ่งข้อมูลใหม่ หากลูกค้าบ่นว่าประเมินราคาแพง แต่ไม่บอกว่าแพงที่กระดาษหรือขั้นตอนงานหลังพิมพ์ แบบนี้ถือเป็น Feedback ไร้ค่า

・Valid (ต้องถูกต้อง): Feedback ต้องเชื่อถือได้ ไม่ใช่ข้อมูลขยะหรือการเดาสุ่ม หากฝ่ายขายจดแค่ว่า "ลูกค้ารายนี้ไม่สนราคา" แต่จริงๆ จดผิด ข้อมูลที่ผิดพลาดแบบนี้ป้อนเข้าไปยิ่งแย่กว่าไม่ป้อนเลย

・Non-redundant (ไม่ซ้ำซ้อน): อย่าเอาสิ่งที่รู้กันอยู่แล้วมาพูดซ้ำ หากระบบบันทึกไปแล้วร้อยครั้งว่า "ลูกค้าต้องการกระดาษอาร์ตการ์ด 100 ปอนด์" การพูดแบบนี้อีกครั้งก็ไม่มีข้อมูลใหม่

・Retained (ต้องถูกนำไปใช้): ข้อนี้โหดที่สุด Feedback ได้ถูกนำไปใช้ในการตัดสินใจครั้งต่อไปจริงหรือไม่? หากฝ่ายขายพูดวิธีตัดสินใจที่ถูกต้องในกลุ่มไลน์ แต่ไม่มีใครนำไปสรุปใส่ในตรรกะการประเมินราคา ก็เท่ากับไม่ได้พูด

ตัวเลขสำคัญที่สุดอยู่ตรงนี้: งานวิจัยได้ทำแบบทดลองเปรียบเทียบ โดยที่งบประมาณพลังการประมวลผลคงเดิม แต่เพิ่มคุณภาพของ Feedback ปรากฏว่าอัตราความสำเร็จของงานเพิ่มขึ้นจาก 27% เป็น 90%

ต้นทุนไม่เสียเพิ่มแม้แต่บาทเดียว เพียงแค่ทำให้ Feedback มีประสิทธิภาพ อัตราความสำเร็จก็พุ่งขึ้นกว่าสามเท่า เมื่อคำนวณใหม่ค่า R² ก็พุ่งจาก:

・0.33 พุ่งพรวดไปที่

・0.94 ถึง

・0.99

ทฤษฎีนี้ก็คือสิ่งที่วิทยาศาสตร์การเรียนรู้ได้สอนกันมาหลายสิบปีในเรื่อง "การฝึกฝนอย่างจงใจ" (Deliberate Practice): Feedback ต้องเฉพาะเจาะจง ต้องถูกต้อง และต้องถูกนำไปใช้ในการฝึกฝนครั้งต่อไป ฝึกแล้วไม่ทบทวน ทบทวนแล้วไม่แก้ไข ก็เท่ากับไม่ได้ฝึก AI ก็เหมือนคน ต้องกินระบบนี้เข้าไป

เมื่อรู้หลักการแล้ว ปัญหาจึงกลายเป็นว่า ในกระบวนการทำงานพิมพ์ เราจะเชื่อมวงจรนี้ให้ติดจริงได้อย่างไร ผมมีแนวทางที่สามารถเริ่มทำได้ในสัปดาห์นี้มาแนะนำ

ประการแรก สร้างตาราง "คำตอบมาตรฐาน" (Ground Truth) หาชนิดงานที่ได้รับบ่อยที่สุดสัก 20-30 รายการในช่วงครึ่งปีที่ผ่านมา เช่น โบรชัวร์เย็บเล่มมุงหลังคา, หนังสือเข้าเล่มไส้กาว, สติ๊กเกอร์, กล่องกระดาษ แล้วสรุปรหัสสินค้า, ชนิดกระดาษ, งานหลังพิมพ์, และช่วงราคาที่สมเหตุสมผลให้เป็น Ground Truth หากราคาที่ AI ประเมินออกมาไม่ตรงกับตารางนี้ คุณถึงจะมี "สัญญาณบอกความผิดพลาด" เพื่อใช้ในการปรับแก้ ไม่เช่นนั้นราคาที่ AI ประเมินเพี้ยนคุณก็ไม่รู้

ประการที่สอง ทุกครั้งที่ AI ทำงานพลาดต้องจดบันทึก และต้องจดจนถึง "สาเหตุต้นตอ" (Root Cause) ไม่ใช่แค่จดว่า "ประเมินราคาผิด" แต่ต้องจดว่า "มันนำกระดาษการ์ดขาว 250 ปอนด์ไปคำนวณเป็น 200 ปอนด์" หรือ "ลืมคำนวณค่าเคลือบเงา" นี่คือการตอบโจทย์ข้อ Informative ต้องเฉพาะเจาะจงจนสามารถนำไปแก้ไขได้

ประการที่สาม นำกรณีที่ล้มเหลวมา "回灌 (ป้อนกลับเข้าสู่ระบบ)" เป็นระยะ ในแต่ละเดือนให้ใช้เวลาหนึ่งชั่วโมง นำเคสที่เดือนนี้ AI ประเมินราคาผิดหรือตอบแชทลูกค้าพลาด ไปแก้ไขใน Prompt หรือกฎระเบียบของมัน ขั้นตอนนี้คือส่วนของ Retained การที่ Feedback จะ "ปิดวงจร" ได้หรือไม่ก็ดูที่ตรงนี้ ประวัติการสนทนาที่ผ่านไปเฉยๆ ไม่ถือว่านับ ถ้ามีการสรุปและนำไปปรับปรุงกฎ นั่นแหละถึงจะนับ

ประการที่สี่ ทุกครั้งที่จะเพิ่มฟังก์ชันใหม่ ให้ทดสอบด้วยเงื่อนไขข้อที่สี่ของ EFC ก่อน หากอยากเชื่อมต่อเครื่องมือใหม่ หรือเปิดระบบตอบกลับอัตโนมัติเพิ่ม ให้ถามตัวเองก่อนว่า: มันจะเปลี่ยนแปลงการตัดสินใจในครั้งต่อไปของ AI ได้จริงๆ หรือไม่? ถ้าไม่ การเพิ่มเข้าไปก็คือการเผาเงินทิ้งชัดๆ และเป็นการเพิ่มภาระในการดูแลรักษาโดยเปล่าประโยชน์

ในส่วนของงานออกแบบก็เช่นกัน หากคุณใช้ AI ช่วยสร้างภาพ, แก้ไขงาน, หรือเขียนข้อเสนอแนะ ข้อคิดเห็นการแก้ไขของลูกค้าทุกครั้งคือสัญญาณ Feedback ของคุณ จดบันทึกอย่างชัดเจนว่า "ทำไมลูกค้าถึงตีกลับงานเวอร์ชันนี้" แล้วนำไปปรับใช้ในข้อเสนอครั้งถัดไป อัตราความสำเร็จของคุณจึงจะสูงขึ้น หากคุณแค่ทิ้งไฟล์งานที่ถูกตีกลับไว้เฉยๆ ไม่สรุปสาเหตุ แก้ไปกี่ร้อยเวอร์ชันก็ยังย่ำอยู่ที่เดิม

ซัพพลายเออร์บางรายจะนำเสนอฟังก์ชันหน่วยความจำประเภท "AI จะจดจำนิสัยบริษัทของคุณได้" ซึ่งฟังดูดีมาก แต่ในงานวิจัยนี้มีคำเตือนที่ผมเห็นด้วยอย่างยิ่ง

สถาปัตยกรรมหน่วยความจำแก้ปัญหาข้อที่ยากที่สุดในสี่ข้อคือ "Retain" แต่มัน "ทำได้เพียง" แค่จำได้ ไม่ได้ช่วยคุณคัดกรองว่าสิ่งที่จำนั้นถูกต้องหรือซ้ำซ้อนหรือไม่

กล่าวอีกนัยหนึ่ง หากคุณป้อน Feedback ที่ผิดพลาด, ซ้ำซ้อน, และเป็นเหมือนสัญญาณขยะเข้าไปแบบไม่คัดกรอง ความทรงจำที่ผิดพลาดเหล่านี้จะถูกเรียกมาใช้งานซ้ำๆ ซึ่งมีพิษร้ายแรงกว่าการไม่มีหน่วยความจำเสียอีก เท่ากับเป็นการขยายการ "ยิ่งทำยิ่งเพี้ยน" จากเหตุการณ์เดียวให้กลายเป็นเรื่องถาวร

ดังนั้นการติดตั้งฟังก์ชันหน่วยความจำใดๆ ต้องมาคู่กับ "ประตูสำหรับเขียนข้อมูล (Write Gate)": ข้อมูลนี้มีเนื้อหาดีพอ เชื่อถือได้ และไม่ซ้ำซ้อนใช่หรือไม่? ถ้าผ่านแล้วค่อยบันทึก สำหรับโรงพิมพ์แล้ว นั่นหมายความว่าอย่าปล่อยให้ความชอบของลูกค้าที่ฝ่ายขายจดไว้ลวกๆ โดยไม่ได้ตรวจสอบ กลายเป็น "ความจริง" ของระบบโดยอัตโนมัติ

ต้องบอกอย่างตรงไปตรงมาว่า งานวิจัยฉบับนี้ไม่ใช่ยาครอบจักรวาล เพดานของค่า R² ที่:

・0.94 ถึง

・0.99 นั้น

เป็นการใช้ข้อมูลในอุดมคติที่รู้คำตอบล่วงหน้าหลังจากเหตุการณ์เกิดขึ้นแล้ว (งานวิจัยเรียกว่า Oracle-EFC) ซึ่งระบบจริงไม่สามารถทำได้ ดังนั้นนั่นคือเพดานทางทฤษฎี ไม่ใช่ตัวเลขที่คุณจะนำไปใช้ได้ในวันพรุ่งนี้ และประเด็นที่ว่า "Feedback ได้เปลี่ยนแปลงการตัดสินใจจริงหรือไม่" นั้นเป็นเรื่องยากที่จะตัดสิน แต่ถึงแม้จะหักลบเรื่องเหล่านี้ออกไป ผมก็ยังสนับสนุนทิศทางหลักนี้อย่างมาก

การแข่งขันของเครื่องมือ AI ในอนาคต จะไม่ใช่เรื่องว่าใครเชื่อมต่อฟังก์ชันได้เยอะกว่า หรือใครมีช่องแชทที่ยาวกว่า แต่คือใครที่สามารถทำให้ Feedback ทุกครั้งถูกนำไปใช้งานได้อย่างแท้จริง ผู้ช่วย AI ที่ดี ไม่ใช่การปล่อยให้มันทำงานหนักขึ้น แต่เหมือนช่างฝีมือที่ดี ที่ทำให้มันได้เรียนรู้อะไรบางอย่างจากการทำงานในทุกๆ ขั้นตอน

・การเพิ่มพลังการประมวลผล (Compute) และเครื่องมือให้กับ AI ช่วยอธิบายผลลัพธ์ได้เพียง 3-4 ส่วนเท่านั้น (R²:

・0.33 ถึง

・0.42)

อีก 6 ส่วนที่เหลือขึ้นอยู่กับคุณภาพของ Feedback

・พลังการประมวลผลเท่าเดิม เพียงแค่ทำให้ Feedback มีประสิทธิภาพ อัตราความสำเร็จก็พุ่งจาก 27% เป็น 90% ความแตกต่างอยู่ที่ "ฝึกให้ถูก" ไม่ใช่ "ฝึกให้มาก"

・Feedback ที่มีประสิทธิภาพต้องทำได้ครบทั้งสี่อย่าง: มีเนื้อหา, ถูกต้อง, ไม่ซ้ำซ้อน, และถูกนำไปใช้จริง ขาดข้อที่สี่ไปก็เท่ากับฝึกเปล่า

・ฟังก์ชันหน่วยความจำของ AI แก้ปัญหาได้เพียงแค่ "จำได้" ไม่ช่วยกรองข้อผิดพลาด หากไม่ติดตั้งประตูคัดกรองข้อมูล ความทรงจำที่ผิดพลาดจะมีพิษร้ายแรงกว่าการไม่มีหน่วยความจำ

・การนำกรณีความล้มเหลวของการประเมินราคาด้วย AI หรือการแก้ไขงานมา "回灌 (ป้อนกลับเข้าสู่ระบบ)" ทุกเดือน คือกุญแจสำคัญที่ทำให้ระบบแม่นยำขึ้นเรื่อยๆ

สำหรับโรงพิมพ์และสตูดิโอออกแบบ แรงบันดาลใจที่แท้จริงไม่ใช่เรื่องว่า "ควรติดตั้ง AI หรือไม่" แต่คือ "หลังจากติดตั้งแล้วมีกลไกในการตรวจสอบหรือไม่" คนส่วนใหญ่ติดอยู่ที่ก้าวแรกแล้วหยุดลง โดยมองว่าการเชื่อมต่อเครื่องมือถือเป็นจุดสิ้นสุด ผมแนะนำให้เริ่มจากเรื่องเล็กๆ เรื่องหนึ่ง: เลือกสถานการณ์ที่เกิดขึ้นบ่อยที่สุด เช่น การประเมินราคาแคตตาล็อก หรือการสอบถามเรื่องการทำตัวอย่างสติ๊กเกอร์ สร้างตารางคำตอบมาตรฐาน 30 ข้อขึ้นมาก่อน แล้วจัดตารางการป้อน Feedback คืนทุกเดือน เดือนละหนึ่งชั่วโมง โดยนำกรณีที่ AI ตอบผิดโดยเฉพาะมาปรับแก้กฎ เมื่อวงจรนี้รันได้ราบรื่นแล้ว ค่อยพิจารณาติดตั้งฟังก์ชันหน่วยความจำหรือขยายขอบเขตการใช้งาน สำหรับผู้ให้บริการแบบบูรณาการ (System Integrator) นี่ถือเป็นช่องทางในการผูกพันกับลูกค้าในระยะยาว: เมื่อคุณออกแบบวงจร Feedback ให้ลูกค้าได้ดี ระบบก็จะยิ่งใช้ยิ่งตรงกับความต้องการของเขา ไม่ใช่ถูกทิ้งไปหลังจากใช้ไปครึ่งปีเพราะบ่นว่าไม่แม่นยำ

・Agent ก็ต้องการ "Feedback ทันที": Effective Feedback Compute กับการฝึกฝนแบบจงใจ (Deliberate Practice) ของ Agent