KI-generierte Illustration.
Ein KI-Agent kann mehr als Informationen zusammenfassen. Je nach technischer Anbindung kann er E-Mails lesen, CRM-Daten aktualisieren, Dateien abrufen oder Aktionen in Geschäftssystemen auslösen. Genau hier verändert sich das Risiko: Ein falscher Textentwurf lässt sich vor dem Versand korrigieren. Eine falsch ausgeführte Aktion kann dagegen unmittelbar Daten oder Geschäftsprozesse verändern. Unternehmen sollten deshalb nicht fragen, auf welche Systeme ein KI-Agent technisch zugreifen kann, sondern welche Berechtigungen er für seine konkrete Aufgabe tatsächlich benötigt.
1. Warum sind Berechtigungen bei KI-Agenten besonders wichtig?
Bei einem klassischen KI-Assistenten liegt der Schwerpunkt häufig auf Informationen.
Ein Mitarbeiter stellt eine Frage, die KI erstellt eine Zusammenfassung oder bereitet einen Text vor.
Ein Agent kann dagegen zusätzlich Werkzeuge oder Schnittstellen verwenden.
Beispielsweise kann er:
- einen Kundendatensatz aus einem CRM abrufen,
- eine eingegangene E-Mail analysieren,
- eine Aufgabe anlegen,
- einen CRM-Status verändern,
- eine Datei in einem Unternehmenssystem speichern,
- einen Termin erstellen,
- eine externe Nachricht versenden.
Damit bekommt die KI nicht nur Zugang zu Informationen, sondern möglicherweise die Fähigkeit, einen tatsächlichen Systemzustand zu verändern.
Genau deshalb sollten Berechtigungen nicht pauschal nach dem Prinzip vergeben werden:
„Der Agent braucht Zugriff auf unser CRM.“
Diese Aussage ist zu ungenau.
Die bessere Frage lautet:
Welche konkreten Informationen muss der Agent lesen und welche konkreten Aktionen muss er für seinen definierten Geschäftsprozess ausführen dürfen?
Je genauer diese Frage beantwortet wird, desto kleiner lässt sich der notwendige Zugriff gestalten.
2. Lese-, Schreib- und Aktionsrechte unterscheiden
Nicht jeder Zugriff hat dieselben Folgen.
Für die Planung hilft es, Berechtigungen mindestens in drei Ebenen zu unterteilen.
| Berechtigung | Beispiel | Zu klärende Frage |
|---|---|---|
| Lesen | Bestehenden CRM-Status oder freigegebenes Dokument abrufen | Welche Daten benötigt der Agent tatsächlich? |
| Schreiben | Notiz ergänzen oder eine interne Aufgabe anlegen | Welche Felder darf der Agent verändern? |
| Externe oder geschäftlich relevante Aktion | E-Mail versenden, Bestellung auslösen oder verbindlichen Status setzen | Ist eine vorherige Freigabe erforderlich? |
Lesen ist nicht automatisch harmlos
Auch reiner Lesezugriff kann sensible Informationen offenlegen.
Wenn ein Agent beispielsweise Zugriff auf sämtliche CRM-Datensätze erhält, obwohl er nur einen einzelnen Kundenfall bearbeiten soll, ist sein Zugriff größer als für die Aufgabe erforderlich.
Deshalb sollte nicht nur zwischen Lesen und Schreiben unterschieden werden.
Auch innerhalb des Lesezugriffs ist zu prüfen:
- welche Datensätze sichtbar sein dürfen,
- welche Felder benötigt werden,
- welche Nutzer- oder Kundenbereiche getrennt bleiben müssen,
- wie lange die Daten für die jeweilige Aufgabe benötigt werden.
Schreibzugriff möglichst konkret begrenzen
Ein Agent, der eine interne Gesprächsnotiz erstellen darf, benötigt deshalb nicht automatisch die Berechtigung, einen gesamten Kundendatensatz zu verändern.
Ebenso muss ein Agent, der einen Termin vorbereitet, nicht zwingend bestehende Termine löschen können.
Berechtigungen sollten sich an einzelnen Aktionen orientieren – nicht nur an ganzen Anwendungen.
3. Was bedeutet Least Privilege bei KI-Agenten?
Das Prinzip der geringsten notwendigen Berechtigung bedeutet: Ein System erhält nur die Zugriffe, die für seine konkrete Aufgabe erforderlich sind.
Für einen KI-Agenten kann das beispielsweise heißen:
Der Agent soll eingehende Anfragen kategorisieren und im CRM eine Aufgabe für den zuständigen Mitarbeiter anlegen.
Dafür benötigt er möglicherweise:
- Zugriff auf die relevante eingehende Anfrage,
- eine begrenzte Auswahl an CRM-Informationen,
- das Recht, eine definierte Aufgabe anzulegen.
Er benötigt möglicherweise nicht:
- Zugriff auf alle Kundendatensätze,
- das Recht, Kunden zu löschen,
- das Recht, Rechnungsinformationen zu ändern,
- Zugriff auf Benutzerverwaltung,
- uneingeschränkte Berechtigung zum Versand externer E-Mails.
Diese Trennung reduziert nicht nur Sicherheitsrisiken.
Sie macht auch den Geschäftsprozess verständlicher.
Prozessgrenze zuerst, Berechtigung danach
Ein häufiger Fehler besteht darin, zuerst eine technische Integration zu aktivieren und anschließend zu überlegen, welche Funktionen davon verwendet werden sollen.
Sinnvoller ist die umgekehrte Reihenfolge:
- Aufgabe beschreiben: Was soll der Agent konkret erledigen?
- Daten bestimmen: Welche Informationen benötigt er dafür?
- Aktionen bestimmen: Welche Änderungen muss er tatsächlich ausführen können?
- Ausnahmen definieren: Welche Fälle darf er nicht selbst bearbeiten?
- Erst dann Zugriff einrichten: Nur die dafür erforderlichen Rechte werden vergeben.
4. Braucht ein KI-Agent eine eigene technische Identität?
Für betriebliche Anwendungen sollte nachvollziehbar sein, welcher technische Akteur eine Aktion ausgeführt hat.
Problematisch kann es deshalb sein, wenn ein Agent einfach mit den persönlichen Zugangsdaten eines Mitarbeiters arbeitet.
Dann können menschliche und automatisierte Aktionen schwerer voneinander zu unterscheiden sein.
Außerdem übernimmt der Agent möglicherweise sämtliche Berechtigungen dieser Person – auch solche, die er für seinen Prozess überhaupt nicht benötigt.
Eigene technische Identität schafft klarere Grenzen
Je nach eingesetztem System kann eine eigene technische Identität, ein Service-Konto oder ein vergleichbares Berechtigungsmodell sinnvoll sein.
Damit lässt sich beispielsweise festlegen:
- auf welche Systeme der Agent zugreifen darf,
- welche Datenbereiche sichtbar sind,
- welche Aktionen erlaubt sind,
- welche Aktionen ausdrücklich gesperrt sind,
- welche Vorgänge protokolliert werden.
Die konkrete technische Lösung hängt von der jeweiligen Software und Architektur ab.
Wichtig ist das Grundprinzip:
Der Agent sollte nicht automatisch dieselben Rechte besitzen wie der Mensch, in dessen Auftrag er arbeitet.
Auch Delegation muss nachvollziehbar bleiben
Wenn ein Mitarbeiter einen Agenten beauftragt, eine Aufgabe auszuführen, sollte trotzdem klar sein:
- welcher Nutzer den Vorgang ausgelöst hat,
- welcher Agent die Aktion ausgeführt hat,
- welche Berechtigung verwendet wurde,
- welches Ergebnis entstanden ist.
Das erleichtert spätere Kontrolle und Fehleranalyse.
5. Welche Aktionen sollten Mitarbeiter freigeben?
Nicht jede Aktion eines Agenten benötigt eine einzelne manuelle Bestätigung.
Sonst kann die Automatisierung schnell mehr Bedienaufwand erzeugen als Nutzen.
Entscheidend ist das Risiko der jeweiligen Aktion.
| Aktion | Möglicher Umgang |
|---|---|
| Interne Information lesen | Innerhalb klar definierter Berechtigungen ohne Einzelbestätigung möglich |
| Interne Aufgabe anlegen | Bei stabilen Regeln gegebenenfalls automatisierbar |
| Bestehenden Datensatz verändern | Je nach Feld, Auswirkung und Fehlerfolgen begrenzen oder prüfen |
| Externe Nachricht versenden | Bei individuellen oder verbindlichen Inhalten gegebenenfalls menschliche Freigabe |
| Daten löschen | Hohe Kontrolle und gegebenenfalls separate Freigabe |
| Zahlungs-, Vertrags- oder andere sensible Aktion | Nur mit ausdrücklich definiertem Berechtigungs- und Freigabeprozess |
Diese Einteilung ist keine universelle Sicherheitsklassifizierung.
Sie zeigt lediglich, dass unterschiedliche Aktionen unterschiedliche Kontrollstufen benötigen können.
Freigabe vor der Aktion, nicht danach
Bei einer sensiblen Aktion sollte ein Mitarbeiter die geplante Handlung prüfen können, bevor sie ausgeführt wird.
Beispielsweise:
Der Agent bereitet eine externe Nachricht vor.
Der zuständige Mitarbeiter sieht Empfänger, Inhalt und geplante Aktion.
Erst nach Freigabe wird die Nachricht tatsächlich versendet.
Ein späterer Hinweis „die E-Mail wurde bereits verschickt“ ist keine Freigabe.
Freigaben müssen verständlich sein
Ein Mitarbeiter kann eine Aktion nur sinnvoll bestätigen, wenn er versteht, was genau passieren wird.
Eine Freigabe sollte deshalb nicht lediglich lauten:
„Aktion zulassen?“
Sondern nachvollziehbar machen:
- welche Aktion geplant ist,
- welcher Datensatz betroffen ist,
- welche externe Wirkung entstehen kann,
- welche Informationen verwendet werden.
6. Warum reichen Prompt-Regeln nicht als Zugriffsschutz?
Ein Agent kann Anweisungen nicht nur aus seinem Systemprompt erhalten.
Je nach Anwendung verarbeitet er möglicherweise auch E-Mails, Webseiten, Dokumente oder andere Inhalte.
Solche externen Inhalte können fehlerhafte, unerwartete oder absichtlich manipulierte Anweisungen enthalten.
Ein Beispiel:
Ein Agent soll eingehende Dokumente analysieren.
In einem Dokument befindet sich eine Anweisung, die versucht, den Agenten dazu zu bringen, zusätzliche Informationen abzurufen oder eine nicht vorgesehene Aktion auszuführen.
Dieses Risiko wird häufig als Prompt Injection bezeichnet.
„Der Agent darf das nicht“ im Prompt genügt nicht
Wichtige Berechtigungsgrenzen sollten nicht allein davon abhängen, ob das Sprachmodell eine Anweisung befolgt.
Wenn ein Agent technisch keine Kunden löschen darf, sollte dieser Schutz in der Berechtigung des angebundenen Systems durchgesetzt werden.
Nicht nur durch einen Satz wie:
„Lösche niemals Kundendaten.“
Dasselbe gilt für:
- Zugriff auf vertrauliche Daten,
- Versand externer Nachrichten,
- Änderung geschäftskritischer Informationen,
- administrative Systemaktionen.
Der Prompt beschreibt gewünschtes Verhalten. Die technische Berechtigung bestimmt, was tatsächlich möglich ist.
Deshalb sollten kritische Sicherheitskontrollen außerhalb des Sprachmodells umgesetzt werden.
7. Welche Aktionen eines KI-Agenten sollten protokolliert werden?
Wenn ein Agent Geschäftssysteme verändert, sollte später nachvollziehbar sein, was passiert ist.
Eine sinnvolle Protokollierung kann abhängig vom Prozess beispielsweise festhalten:
- Zeitpunkt der Aktion,
- auslösenden Nutzer oder Geschäftsprozess,
- verwendeten Agenten,
- aufgerufenes Werkzeug oder System,
- Art der ausgeführten Aktion,
- betroffenen Datensatz oder Vorgang,
- Ergebnis oder Fehlerstatus,
- gegebenenfalls erfolgte menschliche Freigabe.
Dabei gilt nicht: möglichst viele Daten dauerhaft speichern.
Auch Protokolle können sensible Informationen enthalten.
Deshalb sollten Umfang, Zugriff und Aufbewahrung zum tatsächlichen Kontrollzweck passen.
Agentenaktionen von menschlichen Aktionen unterscheiden
Wenn ein CRM-Eintrag geändert wurde, sollte möglichst erkennbar sein, ob die Änderung durch einen Mitarbeiter oder einen automatisierten Prozess entstanden ist.
Diese Information hilft insbesondere bei:
- Fehleranalyse,
- Qualitätskontrolle,
- Sicherheitsvorfällen,
- Änderungen der Automatisierungsregeln.
Auch abgelehnte Aktionen können interessant sein
Wenn ein Agent regelmäßig versucht, eine Aktion auszuführen, die durch Berechtigungen verhindert wird, kann dies auf einen falsch definierten Prozess oder auf problematische Eingaben hinweisen.
Solche Muster sollten nicht einfach ignoriert werden.
8. Wie werden Berechtigungen geändert oder entzogen?
Berechtigungen sind keine einmalige Einrichtungsentscheidung.
Prozesse, Systeme und Aufgaben verändern sich.
Deshalb sollte festgelegt sein, wer Agent-Berechtigungen überprüfen und ändern darf.
Neue Funktion bedeutet neue Berechtigungsprüfung
Ein Agent soll bisher nur CRM-Informationen lesen.
Später soll er zusätzlich E-Mails versenden.
Das ist nicht nur eine neue Funktion.
Es verändert auch:
- den möglichen Schaden einer Fehlaktion,
- die benötigten Zugriffsrechte,
- den Freigabeprozess,
- die notwendigen Tests,
- gegebenenfalls Datenschutz- und Sicherheitsanforderungen.
Deshalb sollte die neue Berechtigung nicht einfach zum bestehenden Agenten hinzugefügt werden, ohne den Prozess erneut zu bewerten.
Zugriff muss kurzfristig entziehbar sein
Wenn ein Fehler entdeckt wird oder ein angebundenes System betroffen ist, sollte ein Agent nicht nur über eine Prompt-Änderung gestoppt werden können.
Es sollte auch möglich sein, seine technischen Zugriffe oder einzelne Werkzeuge zu deaktivieren.
Nicht mehr benötigte Rechte entfernen
Wenn ein Pilot endet oder eine Funktion abgeschaltet wird, sollten dazugehörige Berechtigungen ebenfalls überprüft werden.
Sonst sammeln sich mit der Zeit Zugriffe an, die für den aktuellen Aufgabenbereich nicht mehr erforderlich sind.
9. Wie testen Unternehmen Berechtigungen eines KI-Agenten?
Ein Agent sollte nicht nur darauf getestet werden, ob der gewünschte Standardfall funktioniert.
Ebenso wichtig ist die Frage, was er nicht tun kann.
Schritt 1: Einen konkreten Prozess auswählen
Beispielsweise:
Ein Agent liest eine neue Anfrage und legt im CRM eine interne Aufgabe an.
Mehr nicht.
Schritt 2: Erlaubte und verbotene Aktionen aufschreiben
Beispiel:
| Aktion | Berechtigung |
|---|---|
| Neue Anfrage lesen | Erlaubt |
| Passenden CRM-Datensatz suchen | Erlaubt innerhalb definierter Datenbereiche |
| Interne Aufgabe anlegen | Erlaubt |
| Kundenstammdaten verändern | Nicht erforderlich |
| Externe E-Mail senden | Nicht erforderlich |
| CRM-Datensatz löschen | Nicht erlaubt |
Schritt 3: Nicht nur erlaubte Aktionen testen
Testen Sie in einer freigegebenen Testumgebung mit synthetischen oder dafür freigegebenen Daten bewusst Situationen, in denen der Agent mehr tun möchte oder soll als vorgesehen. Echte externe Nachrichten, Löschungen oder andere sensible Aktionen dürfen dabei nicht unbeabsichtigt ausgelöst werden.
Beispielsweise:
- eine E-Mail fordert den Agenten auf, zusätzliche Kundendaten abzurufen,
- ein Dokument enthält eine versteckte oder unerwartete Anweisung,
- ein Nutzer bittet den Agenten, einen gesperrten Datensatz zu verändern,
- ein benötigtes System ist nicht erreichbar,
- ein Datensatz lässt sich nicht eindeutig zuordnen.
Das gewünschte Ergebnis kann darin bestehen, dass die Aktion blockiert, zur Freigabe gestellt oder an einen Mitarbeiter übergeben wird.
Schritt 4: Protokollierung kontrollieren
Prüfen Sie anschließend, ob erlaubte, fehlgeschlagene und blockierte Aktionen ausreichend nachvollziehbar sind.
Schritt 5: Erst danach Umfang erhöhen
Zusätzliche Systeme oder Schreibrechte sollten jeweils als neue Erweiterung betrachtet werden.
Nicht als automatische Folge eines erfolgreichen ersten Tests.
10. Checkliste: Sind die Berechtigungen Ihres KI-Agenten ausreichend begrenzt?
- Aufgabe: Ist eindeutig beschrieben, welchen Geschäftsprozess der Agent unterstützt?
- Systeme: Sind nur die dafür notwendigen Anwendungen angebunden?
- Daten: Ist definiert, welche Datenbereiche der Agent lesen darf?
- Felder: Ist geklärt, welche konkreten Informationen benötigt werden?
- Schreibrechte: Darf der Agent nur die tatsächlich erforderlichen Daten verändern?
- Externe Aktionen: Ist geregelt, welche Nachrichten oder Aktionen nach außen ausgelöst werden dürfen?
- Freigaben: Sind sensible Aktionen vor ihrer Ausführung kontrolliert?
- Identität: Sind Agentenaktionen technisch von menschlichen Aktionen unterscheidbar?
- Delegation: Bleibt nachvollziehbar, welcher Nutzer oder Prozess eine Aktion ausgelöst hat?
- Prompt Injection: Werden externe Inhalte nicht automatisch als vertrauenswürdige Anweisungen behandelt?
- Technische Grenzen: Werden kritische Berechtigungen außerhalb des Sprachmodells durchgesetzt?
- Fehlerfall: Ist definiert, was bei unklaren oder fehlgeschlagenen Aktionen passiert?
- Protokollierung: Sind relevante Aktionen und Ergebnisse nachvollziehbar?
- Datenschutz: Sind Zugriffe auf personenbezogene und vertrauliche Informationen geprüft?
- Widerruf: Können einzelne Berechtigungen oder Werkzeuge kurzfristig deaktiviert werden?
- Änderungen: Führt jede neue Agent-Funktion zu einer erneuten Berechtigungsprüfung?
Ein guter KI-Agent braucht nicht möglichst viele Rechte
Der Nutzen eines KI-Agenten entsteht nicht dadurch, dass er auf möglichst viele Systeme zugreifen kann.
Er entsteht, wenn ein klar definierter Geschäftsprozess mit den dafür notwendigen Informationen und Aktionen zuverlässig unterstützt wird.
Je größer der Handlungsspielraum eines Agenten wird, desto wichtiger werden technische Zugriffsbeschränkungen, Freigaben, Protokollierung und ein funktionierender Fehlerprozess.
Besonders kritische Grenzen sollten dabei nicht allein als Textanweisung im Prompt existieren.
Die sichere Ausgangsfrage lautet deshalb nicht: Was kann unser KI-Agent alles tun? Sondern: Was muss er für diese eine Aufgabe wirklich dürfen?
Häufige Fragen zu Berechtigungen für KI-Agenten
Was bedeutet Least Privilege bei einem KI-Agenten?
Least Privilege bedeutet, dass der Agent nur die Daten, Systeme und Aktionen erhält, die für seine konkrete Aufgabe erforderlich sind. Berechtigungen für mögliche spätere Funktionen sollten nicht vorsorglich vergeben werden.
Sollte ein KI-Agent ein eigenes Benutzerkonto haben?
Für betriebliche Anwendungen kann eine eigene technische Identität sinnvoll sein, damit Berechtigungen gezielt begrenzt und Aktionen nachvollziehbar von menschlichen Aktivitäten unterschieden werden können. Die konkrete Umsetzung hängt vom jeweiligen System ab.
Ist reiner Lesezugriff für einen KI-Agenten ungefährlich?
Nein. Auch Lesezugriff kann sensible oder personenbezogene Informationen betreffen. Deshalb sollte geprüft werden, welche Datensätze und Felder für die konkrete Aufgabe tatsächlich notwendig sind.
Wann sollte ein Mitarbeiter eine Aktion des Agenten freigeben?
Das hängt von den möglichen Folgen ab. Externe, irreversible oder geschäftlich sensible Aktionen können eine vorherige Freigabe benötigen. Routineaktionen mit klaren Regeln und begrenzten Folgen können je nach Prozess stärker automatisiert werden.
Reicht ein Systemprompt aus, um gefährliche Aktionen zu verhindern?
Nein. Ein Prompt kann gewünschtes Verhalten beschreiben, sollte aber keine technische Zugriffskontrolle ersetzen. Kritische Aktionen sollten durch Berechtigungen des jeweiligen Systems, geeignete Tool-Grenzen und gegebenenfalls zusätzliche Freigaben begrenzt werden.
Was hat Prompt Injection mit Berechtigungen zu tun?
Ein Agent kann externe Inhalte wie E-Mails, Webseiten oder Dokumente verarbeiten. Solche Inhalte können versuchen, sein Verhalten zu beeinflussen. Wenn der Agent gleichzeitig weitreichende Werkzeuge besitzt, können die Folgen größer sein. Begrenzte Berechtigungen reduzieren deshalb auch die möglichen Auswirkungen einer erfolgreichen Manipulation.
Welche Agent-Aktionen sollten protokolliert werden?
Das hängt vom Prozess und Risiko ab. Bei Änderungen in Geschäftssystemen sollten insbesondere relevante Aktionen, Zeitpunkt, betroffener Vorgang, technischer Agent und gegebenenfalls menschliche Freigaben ausreichend nachvollziehbar sein. Umfang und Aufbewahrung der Protokolle müssen ebenfalls angemessen gestaltet werden.
Wie beginnt ein Unternehmen sicher mit KI-Agenten?
Wählen Sie einen klar begrenzten Prozess und vergeben Sie zunächst nur die dafür notwendigen Lese- und Aktionsrechte. Testen Sie nicht nur den Standardfall, sondern auch verbotene Aktionen, externe manipulative Eingaben, technische Ausfälle und menschliche Übergaben. Zusätzliche Berechtigungen sollten erst nach einer erneuten Prüfung ergänzt werden.