Warum Ihr KI-Angebotsassistent mit der Zeit nachlässt? Der Schlüssel liegt im Feedback

In den letzten ein oder zwei Monaten habe ich bei Besuchen bei Kunden von mehreren Inhabern mittelständischer Druckereien dieselbe Frage gehört: Die im letzten Jahr eingeführten KI-Angebotsassistenten oder Chatbots für den Kundenservice waren anfangs beeindruckend, doch nun scheint es keinen Fortschritt mehr zu geben, und manchmal werden die Fehler sogar haarsträubender

Dieses Phänomen wird in einem aktuellen Beitrag namens „Scaling Laws for Agent Harnesses via Effective Feedback Compute“ von Xuanliang Zhang et al. sehr detailliert analysiert (ich beziehe mich auf die Zusammenfassung von Wisely Chen)

Die Studie quantifiziert eine kontraintuitive Tatsache: Man glaubt, die KI würde stärker, indem man ihr einfach „mehr Rechenleistung, mehr Tools oder mehr Durchläufe“ gibt – doch das stimmt nicht

Die Autoren nutzten rohe Tokens und Tool-Calls, um die Erfolgsrate bei Aufgaben zu erklären, und fanden eine Korrelation (R²) von lediglich:

・0,33 bis

・0,42

Auf den Druckereialltag übertragen: Ob Sie die Protokolle des KI-Kundenservice bis ins kleinste Detail führen, die Angebotsberechnung von einmal auf dreimal erhöhen oder zwei weitere Datenbanken anschließen – diese Aktionen, bei denen man glaubt, „viel getan zu haben“, erklären nur etwa 30 bis 40 % des Erfolgs. Die restlichen 60 % haben nichts damit zu tun, wie viele Ressourcen Sie verbrennen

Ich vergleiche das mit der Ausbildung eines Lehrlings: Ein Meister lässt den Azubi täglich zweihundert Andrucke machen, korrigiert aber nie die Fehler und weist nicht auf den Passerfehler hin. Auch nach zehntausend Andrucken bleibt der Azubi auf demselben Niveau. Er ist nicht besser geworden, er ist nur müder

Das Kernkonzept der Arbeit heißt Effective Feedback Compute, kurz EFC. Es besagt: Nicht jede Interaktion zählt – nur „effektives Feedback“ führt dazu, dass die KI wirklich Fortschritte macht

Es definiert vier Bedingungen, die effektives Feedback erfüllen muss. Ich wende diese auf unsere Druckszenarien an:

・Informative (Gehaltvoll): Das Feedback bringt neue Informationen. Wenn ein Kunde sich über den Preis beschwert, aber nicht spezifiziert, ob es am Papier oder an der Weiterverarbeitung liegt, ist dieses Feedback wertlos

・Valid (Korrekt): Das Feedback muss glaubwürdig sein, kein Rauschen oder Raten. Wenn der Vertriebsmitarbeiter flüchtig notiert: „Dieser Kunde achtet nicht auf den Preis“, was aber faktisch falsch ist, schadet dieses fehlerhafte Feedback mehr, als wenn man gar keines eingeben würde

・Non-redundant (Nicht redundant): Wiederholen Sie nicht, was bereits bekannt ist. Das System hundertmal daran zu erinnern, dass „der Kunde 100g Bilderdruckpapier wünscht“, liefert keine neue Information

・Retained (Muss genutzt werden): Das ist der entscheidende Punkt. Ist das Feedback wirklich in die nächste Entscheidung eingeflossen? Wenn ein Mitarbeiter im Team-Chat die richtige Einschätzung äußert, diese aber nicht in die Angebotslogik eingepflegt wird, war das Feedback nutzlos

Die wichtigste Erkenntnis: Die Forscher führten ein Kontrollexperiment durch, bei dem bei gleichbleibendem Rechenbudget nur die Qualität des Feedbacks verbessert wurde – die Erfolgsrate stieg von 27 % auf 90 %

Ohne einen Cent mehr an Kosten auszugeben, nur durch die Steigerung der Feedback-Effektivität, verdreifachte sich die Erfolgsquote. Die Erklärungskraft (R²) verbesserte sich von:

・0,33 auf

・0,94 bis

・0,99

Dieser Ansatz ist im Grunde das, was die Lernwissenschaft seit Jahrzehnten als „bewusste Praxis“ (Deliberate Practice) bezeichnet: Feedback muss spezifisch und korrekt sein und in den nächsten Übungszyklus einfließen. Trainieren ohne Reflexion oder Reflexion ohne Umsetzung ist verlorene Zeit. Für KI gilt genau das Gleiche wie für Menschen

Nachdem das Prinzip klar ist, lautet die Frage: Wie integriert man diesen Kreislauf in den Druckereialltag? Hier sind ein paar Ansätze, die Sie noch diese Woche umsetzen können:

Erstens: Erstellen Sie eine „Standardantwort-Tabelle“. Identifizieren Sie die 20 bis 30 Produkte, die im letzten halben Jahr am häufigsten angeboten wurden (Rückendrahtheftungs-Kataloge, klebegebundene Bücher, Aufkleber, Faltschachteln) und listen Sie die korrekten Artikelnummern, Papiersorten, Weiterverarbeitungsarten und angemessenen Preisspannen als Ground Truth auf. Wenn die KI-Angebote nicht mit diesen Werten übereinstimmen, haben Sie ein „Fehlersignal“ zur Korrektur, sonst wissen Sie gar nicht, wo die KI abweicht

Zweitens: Protokollieren Sie jeden KI-Fehler mit der Ursache. Notieren Sie nicht einfach „Angebot falsch“, sondern „hat 250g Karton als 200g berechnet“ oder „Veredelung vergessen“. Das entspricht der Bedingung „Informative“: Es muss spezifisch genug sein, um daraus handeln zu können

Drittens: Fehlerfälle regelmäßig zurückführen. Nehmen Sie sich jeden Monat eine Stunde Zeit, um die Fälle zu analysieren, bei denen die KI falsch kalkuliert oder der Kundenservice falsch geantwortet hat, und passen Sie die Prompts oder Regeln an. Das ist der Punkt „Retained“: Das Feedback ist nur dann „geschlossen“, wenn es zu einer konkreten Regeländerung führt. Vage Chat-Protokolle zählen nicht – erst wenn sie systematisiert und die Regeln verbessert wurden, zählt es wirklich

Viertens: Vor jeder neuen Funktionserweiterung prüfen Sie die vierte EFC-Bedingung. Wollen Sie ein weiteres Tool anbinden oder eine weitere automatisierte Antwortmöglichkeit schaffen? Fragen Sie sich: Ändert das wirklich die nächste Entscheidung der KI? Wenn nein, ist es nur Geldverschwendung und zusätzlicher Wartungsaufwand

Dasselbe gilt für die Design-Abteilung. Wenn Sie KI zur Bildgenerierung, Korrektur oder Angebotserstellung nutzen, sind die Änderungswünsche der Kunden Ihr Feedback-Signal. Notieren Sie genau, warum der Kunde diesen Entwurf abgelehnt hat, um es beim nächsten Mal direkt zu vermeiden – nur so steigt die Trefferquote. Wer abgelehnte Entwürfe nur beiseitelegt, ohne die Gründe zu analysieren, dreht sich auch nach hundert Entwürfen im Kreis

Einige Anbieter werben mit Funktionen wie „Die KI lernt die Gewohnheiten Ihres Unternehmens“. Das klingt großartig, doch die Studie gibt zu bedenken, worauf ich voll und ganz vertraue:

Gedächtnisarchitekturen lösen zwar die schwierigste der vier Bedingungen – das „Retain“ –, aber sie helfen nicht dabei, die ersten drei Bedingungen (Informative, Valid, Non-redundant) zu filtern

Mit anderen Worten: Wenn Sie fehlerhaftes, redundantes oder verrauschtes Feedback wahllos einspeichern, werden diese falschen Erinnerungen immer wieder abgerufen und verwendet. Das macht die KI noch giftiger als ohne Gedächtnis, da Fehler nicht nur einmalig passieren, sondern sich permanent festsetzen

Daher muss jede Einführung einer Gedächtnisfunktion mit einem „Schreib-Gatekeeper“ verknüpft sein: Ist diese Information gehaltvoll, glaubwürdig und neu? Erst dann speichern. Für eine Druckerei bedeutet das: Lassen Sie bloß nicht zu, dass flüchtige, ungeprüfte Kundenvorlieben aus Vertriebsnotizen automatisch zu „Fakten“ im System werden

Man muss auch ehrlich sein: Diese Studie ist kein Allheilmittel. Die Obergrenze von:

・0,94 auf

・0,99

basiert auf idealen Informationen, bei denen das Ergebnis im Nachhinein bekannt ist (in der Studie „Oracle-EFC“ genannt). Echte Systeme erreichen das nicht – es ist ein theoretisches Maximum, kein Wert, den Sie morgen schon erreichen. Auch die Bedingung, dass Feedback die Entscheidung wirklich verändert, ist schwer zu messen. Trotz dieser Abstriche ist der Kern der Aussage für mich absolut schlüssig

Der Wettbewerb bei KI-Tools wird in Zukunft nicht darüber entschieden, wer die meisten Funktionen hat oder die längsten Chat-Verläufe zeigt, sondern wer es schafft, dass jedes Feedback auch wirklich genutzt wird. Ein guter KI-Assistent zeichnet sich nicht dadurch aus, dass er mehr arbeitet, sondern, wie ein guter Meister, dadurch, dass er bei jedem Schritt wirklich etwas dazulernt

・Mehr Rechenleistung und Tools für die KI erklären nur etwa 30 bis 40 % des Erfolgs (R²:

・0,33

・0,

・42), die restlichen 60 % hängen von der Feedback-Qualität ab

・Bei gleichbleibender Rechenleistung kann allein die Steigerung der Feedback-Effektivität die Erfolgsrate von 27 % auf 90 % heben – der Unterschied liegt im „richtigen Training“, nicht im „mehr Training“

・Effektives Feedback muss gleichzeitig: gehaltvoll, korrekt, nicht redundant und tatsächlich genutzt sein. Ohne den vierten Punkt ist alles umsonst

・KI-Gedächtnisfunktionen lösen nur das „Behalten“, filtern aber keine Fehler; ohne „Schreib-Gatekeeper“ sind falsche Erinnerungen noch schädlicher als gar keine

・Die monatliche Rückführung von Fehlern aus der KI-Angebotskalkulation oder Entwurfskorrektur ist der entscheidende Faktor für eine stetig präzisere KI

Für Druckereien und Designstudios liegt der wahre Impuls nicht in der Frage „Sollten wir KI einführen?“, sondern „Haben wir einen Feedback-Mechanismus, nachdem wir sie eingeführt haben?“. Die meisten bleiben beim ersten Schritt stehen und sehen das Anschließen des Tools als Endpunkt. Ich empfehle, klein anzufangen: Wählen Sie ein Szenario mit hoher Frequenz, z. B. Katalogkalkulation oder Aufkleber-Andruck-Anfragen, erstellen Sie eine Standardantwort-Tabelle mit 30 Positionen und planen Sie ein einstündiges monatliches Zeitfenster ein, um ausschließlich die Fälle zu korrigieren, bei denen die KI falsch lag. Wenn dieser Kreislauf rund läuft, können Sie über Gedächtnisfunktionen oder eine Erweiterung des Bereichs nachdenken. Für Dienstleister, die integrierte Services anbieten, ist das zudem ein hervorragender Ansatz für langfristige Kundenbindung: Sie entwerfen den Feedback-Kreislauf für den Kunden, und das System wird mit der Zeit immer passgenauer für seine Bedürfnisse, statt nach einem halben Jahr als „ungenau“ aussortiert zu werden

・Agenten brauchen auch „zeitnahes Feedback“: Effective Feedback Compute und deliberate practice für Agenten