5 bước kiểm tra khi đánh giá công cụ AI, đừng chỉ nhìn hình ảnh

Đánh giá công cụ AI không thể chỉ nhìn hình ảnh, vì điểm ưu tiên chỉ chứng minh một đoạn đầu ra dễ được thích hơn, chứ không chứng minh nó có thể đi vào quy trình báo giá, hoàn thiện file, in thử và sản xuất hàng loạt

Một thảo luận trên Reddit: world model và preference test nhắc rằng Black Forest Labs, công ty mô hình tạo sinh hình ảnh và video, dùng preference test nội bộ của FLUX 3 để nói về hiệu năng, số liệu là so với Runway Gen-:

・4.5 được ưa thích 77%, so với Luma Ray

・3.2 được ưa thích 93%, nhưng bài đăng nghi ngờ thiếu phương pháp, cỡ mẫu, nhóm người chấm và prompt set

preference test: đưa đầu ra A/B cho người chấm chọn phiên bản họ thích, phù hợp để xem xu hướng thẩm mỹ, không phù hợp để suy luận khả năng hiểu vật lý, độ ổn định khi in hoặc rủi ro thương mại

Tôi từng thấy nhiều mẫu rất đẹp trong xưởng in. Điều đáng sợ nhất là nó chỉ đúng trong slide đề xuất; khi đi vào bleed, chữ tiếng Việt hoặc tiếng Hoa, màu thương hiệu và giới hạn gia công sau in, vấn đề sẽ dồn hết về bàn prepress

Đừng vội

Mối liên hệ giữa world model và mua sắm công cụ cho ngành in nằm ở chỗ: thuật ngữ marketing của công cụ AI càng lớn, phía mua sắm càng phải tách nó thành các hạng mục nghiệm thu có thể chạy lại

world model: chỉ hệ thống có thể biểu diễn cách vật thể thay đổi, tương tác và chịu ảnh hưởng bởi điều kiện. Ở trạng thái lý tưởng, nó phải dự đoán được hệ quả của cảnh, khác hẳn việc chỉ tạo ra hình ảnh vừa mắt

Bình luận trên Reddit nói khá thực tế về khoảng trống này: bài đánh giá nên công khai prompt, seed, model build, sample selection rule và failure rubric, đồng thời phải xem vật thể sau khi bị che khuất có còn tồn tại không, kết quả va chạm có nhất quán không, và quan hệ giữa các vật thể sau khi đổi góc nhìn có hợp lý không

seed: tham số cố định điểm khởi đầu ngẫu nhiên khi tạo sinh, thường dùng để giảm biến động khi cùng một prompt được chạy nhiều lần

Cùng một key visual khuyến mãi chạy 20 lần, nếu nhận về 20 hình sản phẩm đá nhau, thứ xưởng in phải đối mặt sẽ là chi phí chỉnh sửa SKU, logo và chất liệu bao bì bị thay đổi

Nếu đội ngũ đang đưa hình ảnh tạo sinh vào quy trình prepress, có thể đưa SOP hiện có cho đội ngũ tư vấn MINDS Knowledge Academy thiết kế trước một bảng đánh giá

Khi xưởng in mua công cụ AI, tôi sẽ dùng 5 cửa để lọc trước những sản phẩm chỉ biết làm hình demo, rồi mới quyết định có đưa vào quy trình nhận đơn hay không

Trước hết áp ba cửa gửi in của MINDS Printing (MS): ① mục đích có đạt không, ② file có thể chế bản không, ③ chi phí chỉnh sửa bổ sung có đáng không, rồi mới nhìn tiếp 5 cửa sau

・Thẩm mỹ: hình ảnh phải qua được mắt người trước, nhưng A/B preference trong 5 giây chỉ là cửa vào, không thể là kết luận mua sắm

・Khả năng kiểm soát: cùng một sản phẩm, cùng một màu thương hiệu, cùng một kết cấu bao bì phải có thể tạo lặp lại; logo và chữ tiếng Hoa không được trôi

・Độ ổn định: sau khi cố định prompt và seed rồi chạy lại, nếu cùng một yêu cầu mà lần nào cũng đổi bố cục, người dàn trang sẽ phải vá lỗi ở giai đoạn hoàn thiện file

・Màu sắc và chế bản: phải giải thích được ICC profile, tức hồ sơ mô tả màu của International Color Consortium dùng để giúp màn hình, phần mềm và thiết bị đầu ra giao tiếp bằng cùng một bộ quy tắc chuyển đổi màu; độ phân giải, bleed và không gian màu cũng phải đi được vào khâu kiểm tra

・Giấy phép và tích hợp: giấy phép thương mại, quyền khách hàng chuyển dùng, lưu trữ file, API nối với báo giá hoặc chăm sóc khách hàng, thiếu mục nào cũng sẽ thành chi phí vận hành

ISO 12647, tiêu chuẩn kiểm soát quy trình in của International Organization for Standardization dùng để kiểm tra dot gain, màu sắc và độ nhất quán của bản in thử, nhắc chúng ta một chuyện: ngành in nhìn vào quy trình có thể nghiệm thu, không phải tấm hình dễ thích nhất trên màn hình

Bảng đánh giá phải truy ngược từ đơn hàng, để mỗi đầu ra của công cụ AI đều trả lời được ai dùng, dùng ở đâu, ai chịu trách nhiệm sửa, sửa đến mức nào mới được chuyển sang trạm tiếp theo

・prompt: ghi lại nhu cầu và ràng buộc của khách hàng, để designer hoặc chăm sóc khách hàng có thể chạy lại cùng một loại hồ sơ

・seed: cố định điểm khởi tạo, để khi bị trả file mới biết yêu cầu đã đổi hay đầu ra bị trôi

・model build: lưu phiên bản đã dùng, tránh chuyện 3 tháng sau cùng một prompt lại ra hình khác

・sample selection rule: viết rõ vì sao chọn tấm này, không thể chỉ chọn tấm sếp thích

・failure rubric: xem lỗi chữ, lệch màu thương hiệu, sai cấu trúc sản phẩm, sai tỷ lệ layout là thất bại; mẫu đẹp vẫn bị trừ điểm

Khi nối bảng này vào báo giá và chăm sóc khách hàng, sales sẽ biết trước lúc nhận việc rằng hình AI có cần tính thêm phí hoàn thiện file hay không, prepress cũng có thể chặn file rủi ro cao trước khi in thử

Nếu muốn đi vào in thương mại tùy chỉnh toàn phần ở phân khúc trung cao cấp, có thể xác nhận trước rủi ro hoàn thiện file và in thử tại MINDS Printing, bớt để vấn đề tới tận lúc lên máy in

・Đánh giá công cụ AI hãy hỏi có chạy lại được không trước, rồi mới hỏi hình có đẹp không

・Điểm ưu tiên phù hợp để xem ấn tượng đầu tiên, nhưng không thay thế nghiệm thu prepress

・Mua công cụ AI phải tách riêng thẩm mỹ, khả năng kiểm soát, độ ổn định, giấy phép và tích hợp workflow

・Nếu cùng một prompt chạy nhiều lần mà không giữ được sự nhất quán của sản phẩm và thương hiệu, chi phí chỉnh sửa sẽ ăn hết thời gian tiết kiệm được

Khi xưởng in đưa công cụ AI vào vận hành, bước tiếp theo không phải là mua gói đăng ký đang nổi nhất, mà là lấy một phiếu việc thật để đánh giá, cho sales, thiết kế, prepress và chăm sóc khách hàng cùng phán đoán điểm bị trả file nằm ở đâu; phía thiết kế phải giữ prompt và seed, phía SaaS phải cung cấp lịch sử phiên bản và nhãn lỗi, phía in ấn phải đưa kết quả đánh giá quay lại báo giá và cam kết tiến độ. Bớt nói chuyện thần thoại, nhìn nhiều hơn vào file bị trả về

・Thảo luận trên Reddit: world model và preference test