AI · Idee
Agenten brauchen Grenzen, keine Ketten
Autonomie ist kein Schalter, sondern ein Radius. Was ein Agent darf, entscheidet sich an drei Fragen: Was kann er kaputt machen, wer merkt es, und wie kommt man zurück?
In vier Sätzen
- Die Frage ist nie, wie autonom ein Agent sein kann, sondern wie groß der Schaden im Fehlerfall ausfällt.
- Umkehrbare Schritte darf ein Agent allein gehen. Unumkehrbare gehören vor ein menschliches Auge.
- Ohne Protokoll gibt es kein Vertrauen: Wer nicht nachlesen kann, was passiert ist, kann auch nicht mehr Verantwortung abgeben.
- Grenzen machen Agenten nicht schwächer — sie machen sie einsetzbar.
Der Radius zählt, nicht die Fähigkeit
Die meisten Diskussionen über Agenten drehen sich um Können: Was schafft das Modell, wie viele Schritte hält es durch, welches Werkzeug bedient es. Im Betrieb ist das die zweite Frage. Die erste lautet: Was passiert, wenn es danebengeht — und wen trifft es?
Ein Agent, der Rechnungen vorsortiert, hat einen kleinen Radius. Einer, der Rechnungen bezahlt, hat einen großen. Dasselbe Modell, dieselbe Fähigkeit, zwei völlig verschiedene Systeme. Wer den Radius zuerst bestimmt, kann Autonomie danach großzügig vergeben.
„Ein Agent ohne Rückweg ist kein Werkzeug, sondern ein Risiko mit gutem Marketing."
Umkehrbar zuerst
Die brauchbarste Sortierung, die ich kenne, ist banal: Welche Schritte lassen sich rückgängig machen, welche nicht? Einen Entwurf schreiben, eine Recherche anstoßen, einen Datensatz anreichern — alles umkehrbar, alles Agentenland. Geld bewegen, Verträge kündigen, Kundendaten löschen, E-Mails rausschicken — unumkehrbar, also mit Hand am Hebel.
Das ist kein Misstrauen gegen die Maschine, sondern normales Systemdesign. Wir bauen auch für Menschen Bestätigungsdialoge vor dem Löschen. Der Unterschied ist nur, dass ein Agent tausendmal schneller irrt.
Was man sehen muss
Drei Dinge gehören ab dem ersten Tag mitgebaut, sonst wird der Agent nie erwachsen: ein Protokoll jedes Schrittes in lesbarer Form, eine harte Grenze bei Kosten und Anzahl der Versuche, und ein Weg, laufende Vorgänge abzubrechen. Klingt unspektakulär, entscheidet aber darüber, ob jemand dem System nach drei Monaten mehr zutraut oder es leise abschaltet.
Vertrauen in Agenten wächst genauso wie Vertrauen in neue Mitarbeitende: durch überschaubare Aufgaben, sichtbare Ergebnisse und die Erfahrung, dass Fehler früh auffallen. Nur ist die Einarbeitung hier eine Architekturentscheidung.
Fragen dazu
Wie viel Autonomie sollte ein AI-Agent bekommen?
So viel, wie der Schadensradius erlaubt. Umkehrbare Schritte kann er allein gehen, unumkehrbare brauchen eine menschliche Freigabe — unabhängig davon, wie fähig das Modell ist.
Was gehört technisch zu einem verantwortbaren Agenten?
Ein lesbares Protokoll aller Schritte, harte Grenzen für Kosten und Wiederholungen, definierte Fehlerpfade und die Möglichkeit, laufende Vorgänge abzubrechen.
Machen Guardrails Agenten nicht unbrauchbar?
Im Gegenteil: Erst klare Grenzen machen es möglich, einem Agenten überhaupt echte Aufgaben zu geben. Ohne sie bleibt er im Pilotmodus stecken.
