Es gibt eine Antwort, die ein Gespräch beenden sollte: «Unsere Agenten sind intelligent genug, um das zu regeln.» Ein Sprachmodell erzeugt eine plausible Antwort, keine geprüfte. Es wird sich irren. Eine ernsthafte Architektur erkennt man daran, was für diesen Moment vorgesehen ist.

Die Lektion, die wir bezahlt haben

Wir betreiben Agenten, die tatsächlich in Werbekonten eingreifen. Eines Tages stand eine völlig klare Anweisung in den Vorgaben des Agenten: einen bestimmten Begriff niemals anfassen. Wenige Stunden später fasste der Agent ihn trotzdem an. Die Anweisung war nicht mehrdeutig, sie stand nur am falschen Ort.

Ein Verbot in einer Anweisung ist ein Wunsch. Ein Verbot im Code ist eine Regel.

Seitdem wird jedes harte Verbot durch deterministischen Code durchgesetzt, außerhalb des Modells, auf dem Weg der Aktion. Das Modell darf vorschlagen, was es will: Betrifft der Vorschlag ein geschütztes Element, wird er abgelehnt, bevor er das externe System erreicht, mit protokolliertem Grund. Das ist das wichtigste Prinzip dieses Artikels.

Der Mechanismus, Schicht für Schicht

  • Deterministische Regeln davor. Alles, was sich ohne Modell prüfen lässt, wird ohne Modell geprüft: Format, Wertebereich, Stimmigkeit mit dem Bestand, Schutzlisten.
  • Eine fachliche Prüfung vor der Aktion. Der Vorschlag wird mit dem tatsächlichen Zustand des Systems abgeglichen: Würde diese Aktion etwas Funktionierendes zerstören, eine Schwelle überschreiten, einer früheren Entscheidung widersprechen?
  • Eine Vertrauensschwelle. Darunter entscheidet die Maschine nicht: Sie gibt ab und erklärt, was sie unsicher macht.
  • Eine ausdrückliche Rückfallebene. Ist das Modell nicht verfügbar oder zu langsam, bricht der Prozess nicht auf halbem Weg ab: Er wechselt in ein bekanntes, dokumentiertes Notverhalten.
  • Ein vollständiges Protokoll. Jede Aktion trägt Urheber, Grund, Kosten und Ergebnis. Ohne dieses Protokoll ist kein Fehler analysierbar und damit keiner korrigierbar.
  • Ein Alarm. Auffälligkeiten erreichen sofort einen namentlich benannten Menschen, nicht einen Monatsbericht.
  • Eine echte Rücknahme. Eine Ablehnung muss rückgängig machen, was geschehen ist, und es nicht nur vermerken.

Wirklich rückgängig machen

Das ist der Punkt, den wir bei jedem Anbieter zu vertiefen empfehlen. Bei unseren Werbeagenten erreicht jeder vorgeschlagene Eingriff den Menschen mit zwei Schaltflächen. «Einverstanden» bestätigt. «Nicht einverstanden» vermerkt nicht bloß eine Meinung: Es macht den Eingriff rückgängig, sofern er umkehrbar ist, hält das Verbot fest, damit derselbe Vorschlag nicht wiederkehrt, und schickt eine Bestätigung, auch wenn die Rücknahme fehlgeschlagen ist.

Dieses letzte Detail ist das aufschlussreichste. Eine Rücknahme, die still scheitert, ist schlimmer als gar keine: Sie erweckt den Eindruck, das Thema sei erledigt.

Die Tests, aus echten Fehlern

Unsere Schutzmechanismen sind durch automatisierte Tests abgedeckt, deren Fälle aus erlebten Vorfällen stammen, nicht aus gedachten Szenarien. Ein in der Produktion festgestellter Fehler wird zu einem Test, was garantiert, dass er nicht durch dieselbe Tür zurückkommt. Das ist eine einfache Frage an einen Anbieter: Sind Ihre Schutzmechanismen getestet, und mit welchen Fällen?

Was man akzeptieren muss

Keiner dieser Mechanismen bringt die Fehlerquote auf null. Sie leisten etwas anderes, und darauf kommt es an: Sie machen Fehler sichtbar, begrenzt und reparierbar. Ein Unternehmen, das KI ohne diese Schicht einführt, führt keine KI ein, sondern ein Risiko.