Warum Ihr KI-Kalkulator mit der Zeit abdriftet: Der Schlüssel liegt im Feedback

In den letzten ein, zwei Monaten habe ich verschiedene Kunden besucht. Mehrere Inhaber kleinerer und mittlerer Druckereien fragten mich dasselbe: Der letztes Jahr eingeführte KI-Kalkulationsassistent und der Support-Bot für automatische Antworten bei LINE waren in der Testphase beeindruckend. Warum gibt es jetzt gefühlt keine Fortschritte mehr? Manchmal sind die Fehler sogar noch haarsträubender

Dieses Phänomen wird in einem aktuellen Paper mit dem Titel „Scaling Laws for Agent Harnesses via Effective Feedback Compute“ von Xuanliang Zhang et al. detailliert analysiert. Ich habe mir die chinesische Zusammenfassung von Wisely Chen dazu angesehen

Die Studie quantifiziert etwas sehr Kontraintuitives: Man glaubt, die KI werde automatisch besser, wenn man ihr mehr Rechenleistung gibt, mehr Tools dranhängt oder sie mehr Versuche durchlaufen lässt. Das stimmt so nicht

Die Arbeit erklärt die Erfolgsquote von Aufgaben anhand von Raw Tokens und Tool Calls. Das Bestimmtheitsmaß R² liegt gerade mal bei:

・0,33 bis

・0,42

Auf den Druckerei-Alltag übertragen heißt das: Wenn Sie den Chatverlauf des Support-Bots maximal ausdehnen, die Neukalkulationen von einem auf drei Versuche erhöhen und noch zwei weitere Datenbanken anbinden, erklären diese Fleißarbeiten nur etwa 30 bis 40 Prozent des Erfolgs. Die restlichen 60 Prozent hängen nicht davon ab, wie viele Ressourcen Sie verbrennen

Das ist wie bei der Ausbildung. Wenn ein Drucker-Meister seinen Lehrling täglich 200 Andrucke machen lässt, ihm aber nie Feedback gibt, welcher Bogen Passerdifferenzen hat, wird der Lehrling auch nach 10.000 Bögen nicht besser sein. Er lernt so nichts dazu – er ist am Ende nur müde

Das Kernkonzept der Arbeit heißt „Effective Feedback Compute“, kurz EFC. Es bedeutet: Nicht jede Interaktion zählt. Nur „effektives Feedback“ bringt eine KI wirklich weiter

Das Paper definiert vier Bedingungen für effektives Feedback. Ich übertrage sie direkt auf typische Druckereiszenarien:

・Informative (Substanziell): Das Feedback muss neue Informationen liefern. Wenn ein Kunde klagt, der Preis sei zu hoch, aber nicht sagt, ob es am Papier oder an der Veredelung liegt, ist das wertloses Feedback

・Valid (Korrekt): Das Feedback muss verlässlich sein, kein Rauschen oder Raten. Wenn ein Vertriebsmitarbeiter notiert „Dieser Kunde achtet nicht auf den Preis“, es aber eigentlich genau umgekehrt ist, schadet dieses falsche Feedback mehr, als wenn gar keins da wäre

・Non-redundant (Nicht redundant): Wiederholen Sie nicht ständig Bekanntes. Wenn das System zum hundertsten Mal abspeichert „Kunde wünscht 100 gsm Bilderdruckpapier“, liefert das keine neuen Erkenntnisse

・Retained (Implementiert): Der härteste Punkt. Fließt das Feedback wirklich in die nächste Entscheidung ein? Wenn der Vertrieb im Chat die richtige Einschätzung abgibt, diese aber nicht in der Kalkulationslogik landet, ist sie wirkungslos

Und hier ist die wichtigste Zahl: In einem Kontrollexperiment stieg die Erfolgsquote bei gleichem Budget für Rechenleistung von 27 % auf 90 % – allein durch die Verbesserung der Feedbackqualität

Kein Cent Mehrkosten, nur effektiveres Feedback, und die Erfolgsquote verdreifacht sich. Das Bestimmtheitsmaß R² stieg dadurch von:

・0,33 sprunghaft auf

・0,94 bis

・0,99

Das entspricht genau dem Konzept des „gezielten Übens“ (deliberate practice), das in der Lernforschung seit Jahrzehnten etabliert ist: Feedback muss konkret und korrekt sein sowie in den nächsten Versuch einfließen. Ohne Analyse zu üben oder Fehler danach nicht zu korrigieren, bringt nichts. KI lernt da genau wie wir

Nachdem die Theorie geklärt ist, bleibt die Frage: Wie schließen wir diesen Loop in den alltäglichen Druckprozessen? Hier sind einige konkrete Schritte, die Sie noch diese Woche umsetzen können

Erstens: Erstellen Sie eine Referenztabelle mit Standard-Antworten. Suchen Sie die 20 bis 30 am häufigsten kalkulierten Produkte der letzten sechs Monate heraus – Broschüren mit Rückendrahtheftung, Softcover-Bücher mit Klebebindung, Etiketten, Faltschachteln. Halten Sie Artikelnummern, Papiersorten, Weiterverarbeitungen und realistische Preisspannen als Ground Truth fest. Weicht die KI-Kalkulation davon ab, haben Sie ein klares Signal für Korrekturen. Andernfalls merken Sie gar nicht, wenn sie abdriftet

Zweitens: Protokollieren Sie jeden KI-Fehler mit seiner Fehlerquelle. Nicht einfach nur „Kalkulation falsch“ notieren, sondern: „250 gsm Chromokarton als 200 gsm berechnet“ oder „Lackierung bei der Veredelung vergessen“. Das entspricht dem Kriterium Informative: Es muss konkret und handlungsorientiert sein

Drittens: Führen Sie Fehlerfälle regelmäßig zurück. Nehmen Sie sich einmal im Monat eine Stunde Zeit, um die Fälle zu analysieren, bei denen die KI falsch kalkuliert oder der Support fehlerhaft geantwortet hat. Passen Sie die Prompts oder Regeln an. Erst dieser Schritt sichert das Kriterium Retained. Reine Chat-Protokolle bringen nichts, nur strukturierte und in Regeln übertragene Korrekturen zählen

Viertens: Prüfen Sie jede neue Funktion vorab anhand der vierten EFC-Bedingung. Wenn Sie ein weiteres Tool anbinden oder einen neuen Auto-Responder aktivieren wollen, fragen Sie sich: Ändert das wirklich die nächste Entscheidung der KI? Wenn nicht, verbrennen Sie damit nur Geld und erhöhen den Wartungsaufwand

Das gilt genauso für das Design. Nutzen Sie KI zur Bilderstellung, für Reinzeichnungen oder Konzepte, sind die Änderungswünsche der Kunden Ihr Feedback-Signal. Notieren Sie genau, warum ein Entwurf abgelehnt wurde, und vermeiden Sie diesen Fehler beim nächsten Pitch. So steigt Ihre Erfolgsquote. Wer Entwürfe einfach nur ablegt, ohne die Gründe zu analysieren, dreht sich auch nach 100 Korrekturdurchgängen im Kreis

Manche Anbieter werben mit Funktionen wie „Die KI merkt sich Ihre Betriebsgewohnheiten“. Das klingt verlockend, aber das Paper enthält dazu eine Warnung, der ich voll und ganz zustimme

Die Speicherarchitektur löst zwar die schwierigste vierte Bedingung – Retain. Aber sie sorgt nur dafür, dass sich die KI Dinge merkt. Sie filtert nicht, ob die Informationen der ersten drei Bedingungen korrekt, relevant oder redundant sind

Kurz gesagt: Wenn Sie falsches, redundantes Feedback und Rauschen ungefiltert abspeichern, greift die KI immer wieder auf diese Fehlbelegungen zurück. Das ist schädlicher als gar kein Gedächtnis. So wird aus einem einmaligen Fehler eine dauerhafte Fehlfunktion

Die Einführung einer Memory-Funktion erfordert daher zwingend einen Schreib-Filter: Sind die Daten substanziell, verlässlich und neu? Erst nach dieser Prüfung darf gespeichert werden. Für Druckereien bedeutet das: Unbestätigte Notizen des Vertriebs zu Kundenwünschen dürfen nicht automatisch als feste System-Fakten eingespeichert werden

Man muss auch ehrlich sein: Dieses Paper ist kein Allheilmittel. Die Spanne von:

・0,94 bis

・0,99 basiert auf idealen Informationen, bei denen die Antwort im Nachhinein bereits bekannt war (im Paper als Oracle-EFC bezeichnet). Echte Systeme erreichen das nicht. Es ist eine theoretische Obergrenze, kein praktischer Richtwert für morgen. Auch die Frage, ob Feedback eine Entscheidung wirklich verändert hat, ist schwer messbar. Trotz dieser Einschränkungen überzeugt mich die Richtung

Die Zukunft von KI-Tools entscheidet sich nicht über die Anzahl der Features oder die Länge der Chat-Verläufe, sondern darüber, wie effektiv jedes Feedback genutzt wird. Ein guter KI-Assistent zeichnet sich nicht durch reine Arbeitsmenge aus, sondern verhält sich wie ein guter Ausbilder: Er lernt mit jedem Arbeitsschritt dazu

・Mehr Rechenleistung und Tools erklären nur 30 bis 40 Prozent des Erfolgs (R²:

・0,33

・0

・42), die restlichen 60 Prozent hängen von der Feedbackqualität ab

・Bei gleichbleibender Rechenleistung steigt die Erfolgsquote von 27 % auf 90 %, wenn das Feedback effektiv ist. Der Unterschied liegt im gezielten Training, nicht in der reinen Masse

・Effektives Feedback muss substanziell, korrekt, nicht redundant und implementiert sein. Ohne die vierte Bedingung ist das Training wirkungslos

・Die KI-Memory-Funktion sorgt nur für das Behalten, filtert aber keine Fehler. Ohne Schreib-Filter sind Fehlbelegungen schädlicher als gar kein Gedächtnis

・Die regelmäßige monatliche Rückführung fehlerhafter KI-Kalkulationen und Reinzeichnungen ist der Schlüssel zu dauerhafter Präzision

Für Druckereien und Designstudios liegt die eigentliche Erkenntnis nicht in der Frage, ob KI eingeführt werden soll, sondern ob danach ein Evaluierungsmechanismus greift. Die meisten bleiben beim ersten Schritt stehen und betrachten die Anbindung des Tools als Ziel. Starten Sie mit einer einfachen Maßnahme: Wählen Sie ein häufiges Szenario wie Broschürenkalkulationen oder Proof-Anfragen für Aufkleber. Erstellen Sie eine Referenztabelle mit 30 Standard-Antworten und planen Sie eine monatliche Stunde ein, um fehlerhafte KI-Antworten in Regeln zu übersetzen. Sobald dieser Loop funktioniert, können Sie über Memory-Funktionen oder eine Erweiterung nachdenken. Für Dienstleister ist das zudem ein optimaler Hebel zur langfristigen Kundenbindung: Wenn Sie den Feedback-Loop für Ihre Kunden gestalten, passt sich das System immer besser an deren Bedürfnisse an, anstatt nach einem halben Jahr wegen Ungenauigkeit aussortiert zu werden

・Auch Agenten brauchen „zeitnahes Feedback“: Effective Feedback Compute und deliberate practice bei Agenten