Tại sao trợ lý báo giá AI của bạn càng dùng càng lệch? Mấu chốt nằm ở phản hồi

Trong một hai tháng gần đây khi đi thăm khách hàng, tôi đã gặp không ít chủ xưởng in vừa và nhỏ hỏi cùng một vấn đề: Trợ lý báo giá AI hay chatbot tự động trả lời LINE được đưa vào sử dụng từ năm ngoái, ban đầu dùng thử thì rất ấn tượng, nhưng tại sao dùng đến nay lại thấy không có tiến triển, đôi khi còn sai lệch trầm trọng hơn

Hiện tượng này đã được phân tích rất thấu đáo trong bài nghiên cứu gần đây mang tên 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》, tác giả chính là Xuanliang Zhang và cộng sự, tôi đã tham khảo bản dịch tóm tắt tiếng Trung của Wisely Chen

Nó trực tiếp định lượng một sự thật đi ngược lại trực giác: Bạn tưởng rằng "tăng thêm sức mạnh tính toán (compute), thêm công cụ, chạy thử nhiều lần" thì AI sẽ mạnh hơn, nhưng thực tế không phải vậy

Bài nghiên cứu sử dụng raw tokens và tool calls để giải thích tỷ lệ thành công của nhiệm vụ, hệ số tương quan R² chỉ dừng ở:

・0.33 đến

・0.42

Dịch sang ngôn ngữ của xưởng in: Bạn mở lịch sử hội thoại của chatbot AI đến mức chi tiết nhất, tăng số lần tính toán lại báo giá từ một lên ba lần, hay kết nối thêm hai cơ sở dữ liệu vào, những hành động kiểu "tôi đã làm rất nhiều" này chỉ có thể giải thích được khoảng 30-40% kết quả, 60% còn lại không liên quan gì đến việc bạn đã tiêu tốn bao nhiêu tài nguyên

Tôi liên hệ điều này với việc đào tạo học việc. Một người thợ cho học việc in 200 tờ mẫu mỗi ngày, nhưng sau khi in xong không bao giờ chỉ ra lỗi, không nhắc nhở chỗ nào chồng màu bị lệch, thì học việc ấy dù có in một vạn tờ cũng chỉ ở trình độ đó. Cậu ấy không giỏi hơn, mà chỉ mệt hơn mà thôi

Khái niệm cốt lõi của bài nghiên cứu gọi là Effective Feedback Compute, viết tắt là EFC. Nghĩa là: Không phải tất cả các tương tác đều có giá trị, chỉ có "phản hồi hiệu quả" mới giúp AI thực sự tiến bộ

Nó định nghĩa phản hồi hiệu quả phải thỏa mãn đồng thời bốn điều kiện, tôi sẽ đối chiếu từng điều kiện với bối cảnh ngành in:

・Informative (Phải có nội dung): Phản hồi mang lại thông tin mới. Khách chê báo giá đắt nhưng không nói là đắt ở tiền giấy hay gia công sau in, phản hồi như thế là vô bổ

・Valid (Phải chính xác): Phản hồi đáng tin cậy, không phải nhiễu hoặc phỏng đoán. Nhân viên kinh doanh tiện miệng ghi "khách này không quan tâm giá" kết quả là ghi ngược hoàn toàn, nạp phản hồi sai lầm kiểu này vào còn tệ hơn là không nạp

・Non-redundant (Không trùng lặp): Đừng lặp lại những gì đã biết. Hệ thống ghi lại 100 lần "khách muốn giấy Couche 100gsm" thì thực ra không có thông tin mới

・Retained (Phải được tận dụng): Điều này quan trọng nhất. Phản hồi có thực sự được áp dụng vào quyết định tiếp theo không? Nhân viên kinh doanh đã đưa ra đánh giá đúng trong nhóm, nhưng không ai hệ thống hóa nó vào logic báo giá, thì coi như chưa nói

Con số quan trọng nhất nằm ở đây: Bài nghiên cứu đã làm một thí nghiệm đối chứng, trong điều kiện ngân sách tính toán hoàn toàn không đổi, chỉ tập trung nâng cao chất lượng phản hồi, tỷ lệ thành công của nhiệm vụ đã tăng từ 27% lên 90%

Chi phí không tốn thêm một xu, chỉ là biến phản hồi thành hiệu quả, tỷ lệ thành công đã tăng gấp hơn ba lần. Sau khi tính toán lại, năng lực giải thích R² từ:

・0.33 vọt thẳng lên

・0.94 đến

・0.99

Cách nói này, thực chất chính là "luyện tập có chủ đích" (deliberate practice) mà khoa học giáo dục đã nói suốt mấy chục năm nay: Phản hồi phải cụ thể, phải đúng, và phải được áp dụng vào lần luyện tập kế tiếp. Luyện tập mà không kiểm điểm, kiểm điểm mà không sửa đổi thì cũng bằng không. AI cũng như con người, đều cần kiểu rèn luyện này

Sau khi hiểu nguyên lý, vấn đề trở thành: Trong quy trình in ấn, làm thế nào để thực sự kết nối vòng lặp này lại. Tôi xin đưa ra vài cách làm có thể bắt tay vào làm ngay trong tuần này

Thứ nhất, xây dựng một bảng đối chiếu "câu trả lời chuẩn". Tìm ra 20-30 loại sản phẩm được báo giá thường xuyên nhất trong nửa năm qua: catalogue đóng gáy bấm kim, sách đóng gáy keo nhiệt, nhãn dán, hộp giấy; tổng hợp đúng mã vật liệu, loại giấy, gia công sau in và khoảng giá hợp lý thành một tệp ground truth. Nếu báo giá của AI không khớp với bảng này, bạn mới có "tín hiệu đúng/sai" để hiệu chỉnh, nếu không AI báo lệch bạn cũng không biết

Thứ hai, mỗi khi AI xuất lỗi, hãy lưu lại hồ sơ và phải ghi rõ nguyên nhân gốc rễ. Không phải chỉ ghi "báo giá sai", mà là ghi "nó tính giấy bìa 250gsm thành 200gsm" hoặc "quên tính phí cán màng". Điều này tương ứng với điều kiện Informative, phải cụ thể đến mức có thể hành động được

Thứ ba, định kỳ nạp lại các trường hợp thất bại. Mỗi tháng dành một giờ, lấy các trường hợp AI báo giá lệch, chatbot trả lời sai trong tháng đó để sửa lại prompt hoặc quy tắc của nó. Bước này mới chính là Retained, phản hồi có được "khép kín" hay không là xem ở đây. Lịch sử hội thoại trôi qua không tính, phải được hệ thống hóa, được cải tiến quy tắc, thì mới được tính

Thứ tư, mỗi khi thêm một tính năng, trước tiên hãy kiểm tra theo điều kiện thứ tư của EFC. Muốn kết nối thêm một công cụ, thêm một câu trả lời tự động, hãy tự hỏi: Nó có thực sự thay đổi phán đoán của AI ở lần sau không? Nếu không, thêm vào chỉ là đốt tiền vô ích, tăng thêm gánh nặng bảo trì

Với mảng thiết kế cũng vậy. Nếu bạn dùng AI hỗ trợ xuất ảnh, sửa bản thảo, viết đề xuất, thì ý kiến chỉnh sửa của khách hàng chính là tín hiệu phản hồi của bạn. Ghi chép cụ thể "tại sao khách trả bản này", lần sau làm đề xuất tránh ngay lỗi đó, tỷ lệ trúng mới tăng lên; chỉ vứt file trả bản thảo ở đó mà không rút ra nguyên nhân, sửa 100 bản vẫn dậm chân tại chỗ

Một số đơn vị sẽ chào mời các tính năng bộ nhớ như "AI sẽ ghi nhớ thói quen của công ty bạn", nghe rất tuyệt. Nhưng bài nghiên cứu này có một lời nhắc nhở mà tôi rất đồng tình

Kiến trúc bộ nhớ giải quyết được điều kiện thứ tư là "retain", nhưng nó "chỉ" giải quyết vấn đề nhớ được, chứ không giúp bạn lọc xem ba điều kiện đầu có đúng không, có trùng lặp không

Nói cách khác, nếu bạn nạp tất cả các phản hồi sai lệch, trùng lặp, nhiễu loạn vào một cách mù quáng, những ký ức sai lầm này sẽ bị gọi ra sử dụng lặp đi lặp lại, tác hại còn lớn hơn cả khi không có bộ nhớ. Chẳng khác nào khuếch đại tình trạng "càng dùng càng lệch" từ tức thời thành vĩnh viễn

Vì vậy, khi đưa bất kỳ tính năng bộ nhớ nào vào, nhất định phải đi kèm với một "cổng ghi dữ liệu": Thông tin này có đủ giá trị, đủ tin cậy, không trùng lặp không? Sau khi kiểm duyệt mới được lưu. Đối với xưởng in, nghĩa là đừng để sở thích khách hàng mà nhân viên kinh doanh tiện tay ghi chú, chưa qua kiểm chứng tự động trở thành "sự thật" của hệ thống

Cũng phải thành thật mà nói, bài nghiên cứu này không phải là thuốc chữa bách bệnh. Cái giới hạn:

・0.94 đến

・0.99 đó

sử dụng thông tin lý tưởng mà sau sự việc mới biết đáp án (bài nghiên cứu gọi là Oracle-EFC), hệ thống thực tế không làm được, nên đó là trần lý thuyết, không phải con số bạn lấy được ngay ngày mai. Còn điều kiện "phản hồi có thực sự thay đổi quyết định không", bản thân nó đã khó đánh giá. Nhưng ngay cả khi đã chiết khấu đi những điều đó, tôi vẫn rất tán đồng định hướng cốt lõi này

Sự cạnh tranh của các công cụ AI trong tương lai, không phải là xem ai treo nhiều tính năng hơn, xem khung hội thoại của ai dài hơn, mà là ai có thể khiến mỗi lần phản hồi đều thực sự được sử dụng. Một trợ lý AI tốt, không phải là để nó làm nhiều việc hơn, mà là như một người thợ lành nghề, để mỗi bước nó làm đều thực sự học được điều gì đó

・Chỉ tăng sức mạnh tính toán và công cụ cho AI, chỉ giải thích được 30-40% kết quả (R²:

・0.33

・0

・42), 60% còn lại phụ thuộc vào chất lượng phản hồi

・Sức mạnh tính toán không đổi, chỉ cần biến phản hồi thành hiệu quả, tỷ lệ thành công có thể nhảy từ 27% lên 90%, khác biệt nằm ở chỗ "luyện đúng" chứ không phải "luyện nhiều"

・Phản hồi hiệu quả phải đồng thời đạt được: có nội dung, chính xác, không trùng lặp, được tận dụng; thiếu điều kiện thứ tư thì coi như luyện công vô ích

・Chức năng bộ nhớ AI chỉ giải quyết "nhớ được", không giúp bạn lọc lỗi; không lắp cổng kiểm soát dữ liệu đầu vào, ký ức sai lầm còn độc hại hơn không có ký ức

・Nạp lại các trường hợp thất bại trong báo giá, sửa bản thảo của AI mỗi tháng một lần, mới là hành động mấu chốt để nó chạy càng lúc càng chuẩn

Đối với xưởng in và studio thiết kế, cảm hứng thực sự không phải là "có nên đưa AI vào không", mà là "sau khi đưa vào có thiết kế cơ chế kiểm điểm không". Đa số mọi người kẹt ở bước đầu tiên rồi dừng lại, coi việc kết nối công cụ là điểm kết thúc. Khuyên bạn nên bắt đầu từ một việc nhỏ: Chọn một kịch bản tần suất cao, ví dụ như báo giá catalogue hoặc yêu cầu mẫu thử nhãn dán, xây dựng trước một bảng 30 câu trả lời chuẩn, sau đó xếp lịch nạp lại mỗi tháng một giờ, chuyên dùng các trường hợp AI trả lời sai để sửa quy tắc. Vòng lặp này chạy trơn tru rồi, hãy cân nhắc đến việc lên chức năng bộ nhớ hoặc mở rộng phạm vi. Với các đơn vị làm dịch vụ tích hợp, đây cũng là một điểm tiếp cận để gắn kết lâu dài với khách hàng: Bạn giúp khách hàng thiết kế vòng lặp phản hồi tốt, hệ thống sẽ ngày càng phù hợp với nhu cầu của họ, thay vì dùng nửa năm rồi bị chê không chuẩn mà vứt bỏ

・Agent cũng cần "phản hồi kịp thời": Effective Feedback Compute và deliberate practice của Agent