AI 도구 평가 5단계, 화면만 보지 마라

AI 도구 평가를 화면만 봐선 안 되는 건, 선호도 점수는 어떤 결과물이 더 마음에 든다는 것만 증명할 뿐, 견적·완성 파일·교정·양산 공정에 통할 수 있는지는 증명하지 못하기 때문이다

Reddit 토론: world model과 선호도 테스트에서는, Black Forest Labs(생성형 이미지·영상 모델 회사)가 FLUX 3의 자체 preference test 결과로 성능을 설명했는데, 수치는 Runway Gen- 대비:

・4.5 선호도 77%, Luma Ray 대비

・3.2 선호도 93%. 다만 해당 게시물은 방법론·표본 수·평가자 풀·prompt set이 공개되지 않았다고 지적했다

preference test: A/B 결과물을 평가자에게 보여주고 선호하는 버전을 고르게 하는 방식. 미적 경향을 파악하는 데는 적합하지만, 물리적 이해도·인쇄 안정성·상업적 리스크를 판단하는 데는 쓸 수 없다

인쇄 현장에서 예쁜 샘플을 많이 봤는데, 가장 두려운 건 그게 제안 발표 때만 성립하는 경우다. 도련·중문 텍스트·브랜드 컬러·후가공 제약이 들어오면, 문제는 결국 인쇄 전 작업대로 돌아온다

서두르지 마라

world model과 인쇄 구매의 관계는 이렇다. AI 도구의 마케팅 용어가 클수록, 구매 담당자는 그것을 반복 실행 가능한 검수 항목으로 분해해야 한다

world model: 객체가 어떻게 변화하고 상호작용하며 조건에 따라 어떤 영향을 받는지를 표현할 수 있는 시스템. 이상적으로는 장면의 결과를 예측할 수 있어야 하며, 보기 좋은 이미지를 생성하는 것과는 다른 개념이다

Reddit 댓글은 허점을 꽤 솔직하게 지적했다. 평가는 prompt·seed·model build·sample selection rule·failure rubric을 공개해야 하고, 객체가 가려진 후에도 존재하는지, 충돌 결과가 일관성 있는지, 각도가 바뀐 후 객체 관계가 합리적인지도 봐야 한다

seed: 생성 시 랜덤 시작점을 고정하는 파라미터. 같은 prompt로 여러 번 출력할 때 편차를 줄이기 위해 주로 사용한다

같은 판촉 메인 비주얼을 20번 돌렸을 때 서로 충돌하는 제품 화면이 20개 나온다면, 인쇄소가 마주하는 건 SKU·로고·포장 소재가 달라진 보정 비용이다

팀이 생성형 이미지를 인쇄 전 공정에 도입하는 중이라면, 현재 SOP를 MINDS Knowledge Academy 컨설팅팀에 가져가 평가표 설계부터 해보는 것이 좋다

인쇄소가 AI 도구를 구매할 때, 나는 5단계로 먼저 데모 이미지만 만드는 제품을 걸러낸 뒤 수주 공정 도입 여부를 결정한다

먼저 MINDS 인쇄(MS) 출력 3단계, 즉 ①용도 적합성·②파일 제판 가능 여부·③보정 비용 대비 효과를 검토한 뒤 5단계를 확인한다

・미감: 화면이 우선 사람 눈을 통과해야 하지만, 5초짜리 A/B preference는 입구일 뿐 구매 결론이 될 수 없다

・제어 가능성: 같은 제품·같은 브랜드 컬러·같은 패키지 구조를 반복 생성할 수 있어야 하며, 로고와 중문 텍스트가 흔들려선 안 된다

・안정성: prompt와 seed를 고정하고 다시 돌렸을 때 같은 요구사항인데 매번 구도가 바뀐다면, 편집자는 완성 파일 단계에서 구멍을 메워야 한다

・색상과 제판: ICC profile(International Color Consortium 색상 프로파일. 모니터·소프트웨어·출력 장비가 동일한 색상 변환 규칙으로 소통하게 해준다)을 명확히 제시할 수 있어야 하고, 해상도·도련·색공간도 검수 가능해야 한다

・라이선스와 통합: 상업적 라이선스·고객 이전 사용·파일 보관·API를 견적이나 고객 응대에 연결하는 것, 하나라도 빠지면 운영 비용이 된다

ISO 12647(International Organization for Standardization의 인쇄 공정 제어 표준. 망점·색상·교정 일관성을 검수하는 데 쓴다)이 알려주는 건 하나다. 인쇄업이 보는 건 검수 가능한 공정이지, 모니터 위의 예쁜 그림이 아니다

평가표는 주문에서 역으로 추적해야 한다. AI 도구의 출력물마다 누가 쓰는지·어디에 쓰는지·누가 수정하는지·어느 수준까지 수정해야 다음 단계로 넘어가는지를 답할 수 있어야 한다

・prompt: 고객 요구사항과 제약 조건을 기록해, 디자이너나 고객 응대 담당자가 같은 유형의 작업을 다시 돌릴 수 있게 한다

・seed: 생성 시작점을 고정해두면, 반품이 생겼을 때 요구사항이 바뀐 건지 출력이 흔들린 건지 알 수 있다

・model build: 사용 버전을 기록해두면, 3개월 뒤 같은 prompt에서 다른 결과가 나오는 상황을 막을 수 있다

・sample selection rule: 왜 이 결과물을 선택했는지 명확히 적는다. 담당자가 좋아하는 걸 고른다는 이유만으로는 안 된다

・failure rubric: 오탈자·브랜드 컬러 오차·상품 구조 오류·레이아웃 비율 오류를 실패로 정의한다. 샘플이 예뻐도 감점이다

이 표를 견적과 고객 응대에 연결하면, 영업 담당자는 수주 전에 AI 이미지에 완성 파일 비용을 추가해야 하는지 알 수 있고, 인쇄 전 팀은 교정 전에 고위험 파일을 걸러낼 수 있다

중고급 완전 맞춤형 상업 인쇄를 하려면 MINDS 인쇄에서 완성 파일과 교정 리스크를 먼저 확인해, 인쇄기에 올리는 순간까지 문제를 남겨두지 않는 것이 좋다

・AI 도구 평가는 먼저 반복 실행이 가능한지 묻고, 그다음 화면이 예쁜지 묻는다

・선호도 점수는 첫인상을 파악하는 데 적합하지만, 인쇄 전 검수를 대체할 수 없다

・AI 도구 구매는 미감·제어 가능성·안정성·라이선스·워크플로 통합을 각각 분리해서 따져야 한다

・같은 prompt로 여러 번 출력했을 때 제품과 브랜드 일관성을 유지하지 못하면, 보정 비용이 절약한 시간을 다 잡아먹는다

인쇄소가 AI 도구를 도입하는 다음 단계는 가장 인기 있는 구독 서비스를 사는 게 아니라, 실제 작업 지시서로 평가를 해보는 것이다. 영업·디자인·인쇄 전·고객 응대 담당자가 함께 반품이 발생하는 지점을 파악해야 한다. 디자인 쪽은 prompt와 seed를 보관하고, SaaS 쪽은 버전 기록과 실패 표시를 제공해야 하며, 인쇄 쪽은 평가 결과를 견적과 납기 약속에 연결해야 한다. 신화 얘기는 줄이고, 반품을 더 봐라

・Reddit 토론: world model과 선호도 테스트