Wenn KI handelt, reicht ein Ausschalter nicht

1. Der Wechsel geschieht bei der Wirkung

Die übliche KI-Debatte schaut zuerst auf Antworten. Sind sie richtig? Klingen sie freundlich? Enthalten sie Halluzinationen? Diese Fragen bleiben wichtig, erfassen aber nur Systeme, deren Wirkung im Wesentlichen in einer Ausgabe endet.

Sobald eine KI einen Termin verschiebt, eine Nachricht versendet, eine Datei verändert, einen Kauf vorbereitet oder Code veröffentlicht, ist die Antwort nur noch ein Zwischenschritt. Entscheidend ist die Wirkung in einem anderen System.

Der Begriff „Akteur“ darf dabei nicht mystifizieren. Ein Agent hat kein menschliches Gewissen und keine eigene moralische Verantwortung. Organisatorisch muss er trotzdem als handelnde Instanz behandelt werden, weil man sonst weder seine Befugnisse noch seinen Handlungspfad sauber beschreiben kann.

2. Ein Ausschalter kommt zu spät

Ein Ausschalter ist notwendig. Er hilft aber erst, wenn ein Problem erkannt wurde. Eine falsch versendete Nachricht, eine gelöschte Datei oder eine veröffentlichte Information lässt sich dadurch nicht automatisch zurückholen.

Sicherheit beginnt deshalb früher. Welche Daten darf das System sehen? Welche Werkzeuge darf es aufrufen? Darf es nur lesen oder auch schreiben? In welchem Raum und für wie lange gilt eine Berechtigung? Welche Handlung verlangt eine menschliche Bestätigung?

NIST unterscheidet bei Agentensystemen unter anderem zwischen lesendem, begrenzt schreibendem und schreibendem Werkzeugzugriff sowie zwischen vertrauenswürdigen und nicht vertrauenswürdigen Umgebungen. [4] Diese Unterscheidung macht sichtbar, warum „Der Agent darf den Browser benutzen“ keine ausreichende Sicherheitsbeschreibung ist.

3. Verantwortung darf nicht an den Agenten delegiert werden

Wenn ein Agent falsch handelt, ist „Die KI hat entschieden“ keine brauchbare Verantwortungszuweisung. Verantwortung bleibt bei den Menschen und Organisationen, die Ziel, Datenzugriff, Werkzeuge, Freigaben und Einsatzkontext bestimmen.

Das bedeutet nicht, dass jede Einzelaktion manuell bestätigt werden muss. Eine solche Forderung könnte nützliche Automatisierung praktisch verhindern und menschliche Aufmerksamkeit mit belanglosen Freigaben erschöpfen.

Die Gegenposition ist daher berechtigt: Zu enge Grenzen können Systeme nutzlos machen. Die Antwort ist eine abgestufte Handlungsordnung. Niedrigriskante, reversible Aktionen können innerhalb eines klaren Rahmens automatisch geschehen. Irreversible, externe oder besonders folgenreiche Aktionen brauchen eine stärkere Prüfung.

4. Was FlameP daraus macht

In FlameP soll ein Agent nicht einfach „im Raum sein“. Seine Rolle muss ebenso sichtbar sein wie seine Grenzen.

Erstens braucht jeder Agent eine eindeutige Identität. Menschen müssen erkennen können, ob ein Inhalt von einer Person, einem Modell oder einem handelnden System stammt.

Zweitens werden Berechtigungen an einen konkreten Kontext gebunden. Ein Agent, der in einem Raum zusammenfasst, erhält dadurch nicht automatisch das Recht, in einem anderen Raum Nachrichten zu versenden.

Drittens werden Lesen, Vorschlagen, Vorbereiten und Ausführen getrennt. Aus einer guten Empfehlung darf nicht unbemerkt eine Aktion werden.

Viertens brauchen folgenreiche Aktionen Bestätigungspunkte. Die Bestätigung muss zeigen, was geschehen soll, wohin die Wirkung reicht und ob sie rückgängig gemacht werden kann.

Fünftens bleibt ein nachvollziehbarer Handlungspfad: Auftrag, verwendeter Kontext, Werkzeugaufruf, Ergebnis und verantwortliche Freigabe.

5. Die Grenze ist nicht nur technisch

Auch perfekte Zugriffssteuerung löst nicht jede Frage. Ein System kann innerhalb seiner Berechtigung unangemessen handeln, weil Ziel oder Kontext schlecht formuliert wurden. Ein Protokoll kann vollständig und trotzdem für Menschen unverständlich sein. Eine Freigabe kann formal vorliegen, obwohl die bestätigende Person die Konsequenz nicht erfassen konnte.

FlameP darf deshalb Sicherheit nicht mit einer Liste technischer Kontrollen verwechseln. Es braucht verständliche Sprache, sparsame Voreinstellungen und eine Gestaltung, die Unsicherheit nicht versteckt.

6. Schluss: Handlung braucht eine Verfassung im Kleinen

Agenten sind nicht gefährlich, weil sie schlechte Manieren haben. Sie werden riskant, wenn Fähigkeit, Berechtigung und Verantwortung ineinanderfallen.

Die praktische Regel für FlameP lautet:

LeitgedankeKein Agent handelt allein aufgrund seines Könnens. Er handelt nur innerhalb einer sichtbaren Rolle, eines begrenzten Kontexts und einer nachvollziehbaren Verantwortung.

Der Ausschalter bleibt. Aber er ist die letzte Sicherung, nicht die erste Idee.