AI 견적 비서, 왜 쓸수록 엇나갈까? 핵심은 피드백

최근 한두 달간 미팅을 다니며 여러 중소 인쇄소 대표님들께 같은 질문을 받았습니다. 지난해 도입한 AI 견적 비서나 LINE 자동 응대 챗봇이 처음 테스트할 때는 놀라울 정도로 똑똑했는데, 왜 쓰면 쓸수록 발전은 없고 때로는 엉뚱한 오답을 내놓느냐는 겁니다

이 현상은 최근 발표된 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》(저자 Xuanliang Zhang 등)라는 논문이 명쾌하게 설명해 줍니다. 저는 Wisely Chen이 정리한 글을 통해 원문을 접했습니다

논문은 직관에 반하는 사실을 수치로 보여줍니다. '컴퓨팅 파워를 더 얹고, 도구를 더 붙이고, 여러 번 돌리면' AI가 알아서 똑똑해질 것 같지만, 전혀 그렇지 않다는 것이죠

논문에서 raw tokens와 tool calls로 작업 성공률을 분석한 결과, 상관계수 R²는 고작 이 정도였습니다

・0.33에서

・0.42 사이

인쇄 현장의 언어로 쉽게 풀어볼까요? AI 고객 응대 기록을 아무리 꼼꼼히 남기고, 견적 산출 횟수를 1회에서 3회로 늘리고, 데이터베이스를 몇 개 더 연동해 봤자, 이런 '열심히 노력한' 조치들이 미치는 영향은 고작 30~40%에 불과하다는 뜻입니다. 나머지 60%는 리소스를 얼마나 쏟아부었느냐와 무관합니다

도제식 교육에 비유할 수 있습니다. 사수가 부사수에게 하루에 테스트 인쇄를 200장씩 시키면서, 정작 인쇄물을 보고 무엇이 잘못되었는지, 핀이 어디서 어긋났는지 지적해 주지 않는다면 어떻게 될까요? 그 부사수는 1만 장을 인쇄해도 실력이 제자리일 겁니다. 실력이 늘어난 게 아니라 몸만 축난 것이죠

논문의 핵심 개념은 바로 'Effective Feedback Compute', 줄여서 EFC입니다. 모든 상호작용이 의미를 갖는 게 아니라, 오직 '유효한 피드백'만이 AI를 실질적으로 성장시킨다는 뜻입니다

논문에서는 유효한 피드백이 되기 위해 다음 네 가지 조건을 동시에 만족해야 한다고 정의합니다. 인쇄소 업무 환경에 대입해 보겠습니다

・Informative(알짜 정보 제공): 피드백에 새로운 정보가 들어있어야 합니다. 고객이 견적이 비싸다고 불평하면서 종잇값 때문인지, 후가공비 때문인지 말해주지 않는다면 이는 쓸모없는 피드백입니다

・Valid(신뢰성): 피드백이 정확해야 하며 노이즈나 짐작이어서는 안 됩니다. 담당 영업 사원이 혼자 착각해 '이 거래처는 단가 신경 안 씁니다'라고 대충 남겨둔 잘못된 피드백을 시스템에 입력한다면 안 하느니만 못합니다

・Non-redundant(중복 배제): 이미 알고 있는 사실을 굳이 되풀이할 필요가 없습니다. 시스템에 '고객이 아트지 100gsm을 원함'이라는 기록을 100번 넘게 쌓아도 새로운 가치는 없습니다

・Retained(실제 적용): 가장 뼈아픈 조건입니다. 피드백이 다음 의사결정에 확실히 반영되었는가 하는 점입니다. 영업 사원이 메신저 방에서 제대로 된 판단을 공유했더라도, 이를 견적 산출 로직에 업데이트하지 않았다면 아무런 소용이 없습니다

가장 결정적인 수치는 이것입니다. 논문 속 대조 실험에 따르면, 컴퓨팅 파워 예산은 단 1원도 올리지 않고 오직 피드백의 품질만 개선했을 때 작업 성공률이 27%에서 90%로 뛰어올랐습니다

비용은 전혀 늘지 않았는데 피드백이 제대로 작동하기 시작하자 성공률이 3배 이상 폭증한 것입니다. 이를 기준으로 다시 환산하니 설명력 R²가 다음과 같이 급상승했습니다

・0.33에서 단숨에

・0.94~

・0.99까지 치솟았습니다

이 메커니즘은 교육 심리학에서 수십 년간 강조해 온 '의도된 연습(deliberate practice)'과 일맥상통합니다. 피드백은 구체적이고 정확해야 하며, 다음 연습 단계에 반드시 반영되어야 합니다. 연습만 하고 피드백을 받지 않거나, 피드백을 받고도 고치지 않는다면 시간 낭비일 뿐입니다. AI도 사람과 똑같이 학습합니다

원리를 이해했다면 이제 인쇄 실무 프로세스에서 이 피드백 루프를 어떻게 실제로 연동할지가 핵심입니다. 당장 이번 주부터 실행해 볼 수 있는 방안들을 제안합니다

첫째, '모범 답안' 비교표를 만드세요. 지난 반년간 가장 주문이 많았던 20~30가지 품목(중철 제본 카탈로그, 무선 제본 단행본, 스티커, 패키지 박스 등)을 추려내 정확한 자재 코드, 용지, 후가공, 적정 견적 범위를 정리한 ground truth(기초 데이터)를 구축하는 것입니다. AI가 산출한 견적이 이 모범 답안과 다를 때 비로소 오답을 걸러내고 교정할 기준선이 생깁니다. 기준이 없으면 잘못 계산되어도 파악조차 할 수 없습니다

둘째, AI가 실수할 때마다 기록을 남기되 그 근본 원인을 파헤쳐야 합니다. 단순히 '견적 오류'라고 적는 것이 아니라 '250gsm 카드지를 200gsm으로 잘못 인식함', '코팅 비용 누락함'처럼 기록해야 합니다. 이것이 바로 Informative 조건이며, 그래야만 구체적인 개선 조치를 취할 수 있습니다

셋째, 오답 사례를 주기적으로 재학습시키세요. 한 달에 한 시간만 투자해서 그달에 AI가 잘못 뽑은 견적이나 고객 응대 오답 사례를 모아 프롬프트나 규칙을 수정하는 작업을 하십시오. 이 단계가 바로 Retained입니다. 피드백 루프가 마침내 '닫혔는지(완성되었는지)'는 여기서 결정됩니다. 그냥 흘려보내는 대화 기록은 의미가 없으며, 요약 정리되고 규칙 개정으로 이어져야만 실질적인 가치가 있습니다

넷째, 새로운 기능을 추가할 때마다 EFC의 네 번째 조건(Retained)을 먼저 검토하세요. 툴을 하나 더 연동하거나 자동 회신 옵션을 넓히고자 한다면, '이것이 다음번 AI의 의사결정을 실제로 바꿀 수 있는가?' 스스로 질문해 보십시오. 만약 그렇지 않다면 기능을 추가하는 행위는 예산 낭비이자 관리 리소스 낭비일 뿐입니다

디자이너에게도 동일하게 적용됩니다. AI로 시안을 잡거나 시안을 수정하고 제안서를 작성할 때, 고객의 수정 피드백이 곧 오답 노트의 힌트입니다. '고객이 이 시안을 왜 반려했는지'를 구체적으로 기록하고 다음 시안에서 제외해야 채택률이 올라갑니다. 반려당한 파일들만 쌓아두고 원인을 규명하지 않는다면, 100번을 수정해도 제자리걸음일 뿐입니다

일부 솔루션 업체들이 'AI가 귀사의 작업 방식을 학습하여 기억한다'는 메모리 기능을 제안하곤 하는데, 상당히 혹하는 이야기입니다. 하지만 이 지점에서 전적으로 동감하는 논문의 경고가 있습니다

메모리 시스템은 네 가지 조건 중 가장 어려운 네 번째 '실제 적용(Retained)'을 해결하는 것 같지만, 실상은 단순히 '기억 장치에 넣는 것'일 뿐, 이전 단계 정보들의 참거짓이나 중복 여부까지 필터링해 주지는 않습니다

달리 말해 잘못되거나 불필요하게 반복되고 노이즈가 가득한 피드백을 가리지 않고 쑤셔 넣으면, 잘못된 기억이 매번 리콜되어 작동하게 됩니다. 이는 기억 장치가 없는 것보다 훨씬 치명적입니다. 일회성 오류를 영구적인 버그로 확장하는 격이니까요

따라서 메모리 기능을 적용할 때는 무조건 '입력 게이트'를 구축해야 합니다. 해당 정보가 유용한지, 신뢰할 만한지, 중복되지는 않는지 검증하고 게이트를 통과한 데이터만 기억시키는 것이죠. 인쇄소 현장으로 치면, 검증되지 않은 고객 취향이 시스템의 정답처럼 굳어지는 일을 차단해야 합니다

솔직히 이 논문이 만병통치약은 아닙니다. 논문에서 언급한

・0.94에서

・0.99라는 성능 한계치는 사후에 이미 모범 답안을 아는 상태에서 시뮬레이션한 이상적인 상황(논문에서는 'Oracle-EFC'라 지칭함)에 기초합니다. 실제 시스템에서는 현실적으로 달성하기 힘든 가상의 장벽인 셈이죠. 또한 '피드백이 의사결정을 실제로 바꿨는가'를 검증하는 것 역시 까다로운 문제입니다. 하지만 이러한 한계를 고려하더라도 논문이 가리키는 핵심 방향성만큼은 확실히 동의합니다

앞으로 AI 툴의 경쟁은 기능 개수나 대화창 길이가 아니라, 매 피드백을 어떻게 결과물에 녹여내느냐에 달려 있습니다. 좋은 AI 비서란 무조건 일을 많이 시키는 것이 아니라, 훌륭한 사수처럼 매 단계 작업이 실질적인 배움으로 이어지게 만드는 녀석입니다

・AI에 컴퓨팅 파워와 도구를 추가하는 것은 성과의 30~40%만 설명할 수 있으며(R²:

・0.33에서

・0

・42), 나머지 60%는 피드백의 품질이 좌우합니다

・컴퓨팅 파워는 그대로 두고 피드백만 유효하게 개선해도 성공률이 27%에서 90%로 폭등합니다. 중요한 것은 양보다 질입니다

・유효한 피드백의 조건은 정보력, 정확성, 비중복성, 적용 여부이며, 이 중 네 번째인 '적용'이 빠지면 무용지물입니다

・AI 메모리 기능은 단순히 기억만 해줄 뿐 오류를 걸러주지 못합니다. 필터링 게이트가 없으면 왜곡된 기억이 쌓여 아예 기억하지 못하는 것보다 해롭습니다

・AI의 견적 오류나 시안 수정 실패 사례를 한 달에 한 번씩 피드백 루프에 반영하는 것이야말로 갈수록 시스템의 정확도를 높이는 핵심 동력입니다

인쇄소와 디자인 에이전시 입장에서 진정 고민해야 할 점은 'AI 도입 여부'가 아니라 '도입 후 검토 및 평가 프로세스 설계'입니다. 대다수 업체는 툴을 세팅하는 첫 단계에서 멈추며, 그것으로 임무가 완료되었다고 착각합니다. 작지만 확실한 일부터 시작해 보십시오. 자주 쓰이는 작업 영역, 이를테면 카탈로그 견적 산출이나 스티커 샘플 문의 등을 골라 30개 문항 내외의 가이드라인(기준 답안)을 만드세요. 그리고 매달 딱 1시간을 떼어 AI의 오답 데이터를 기반으로 세팅값을 튜닝하는 루틴을 만드는 겁니다. 이 사이클이 원활하게 정착된 뒤 메모리 기능 도입이나 범위 확장을 검토해도 늦지 않습니다. 서비스를 대행하는 통합 마케팅 에이전시나 솔루션 업체에게는 이것이 고객사와 굳건한 신뢰 관계를 맺는 전환점이 될 수 있습니다. 클라이언트의 요구에 맞춰 피드백 루프를 함께 보정하다 보면, 시스템은 갈수록 정교해져 쓰면 쓸수록 만족도를 높일 것이고, 반년 쓰고 무 쓸모라며 버려지는 일도 없을 것입니다

・에이전트에게도 '즉각적인 피드백'이 필요하다: Effective Feedback Compute와 에이전트의 deliberate practice