KI-generierte Illustration.
Ein KI-Assistent beantwortet eine Kundenfrage freundlich, schnell und überzeugend. Doch die genannte Leistung existiert nicht, der Preis ist veraltet oder ein zugesagter Termin wurde nie bestätigt. Das Problem bei KI-Halluzinationen ist nicht nur, dass eine Antwort falsch sein kann. Gefährlich wird es, wenn eine unbelegte Aussage wie eine verlässliche Unternehmensauskunft klingt. Unternehmen brauchen deshalb klare Regeln dafür, welche Informationen eine KI verwenden darf, wann sie Unsicherheit erkennen muss und wann ein Mitarbeiter die Antwort übernimmt.
1. Was sind KI-Halluzinationen?
Von einer KI-Halluzination spricht man, wenn ein generatives KI-System Inhalte erzeugt, die sachlich falsch, erfunden oder durch die verfügbaren Informationen nicht ausreichend gestützt sind.
Die Antwort kann dabei sprachlich überzeugend wirken.
Ein KI-Assistent könnte beispielsweise behaupten, dass ein Unternehmen eine bestimmte Garantie anbietet, obwohl diese Leistung nicht dokumentiert ist.
Oder er nennt einen konkreten Liefertermin, obwohl ihm keine aktuellen Informationen zur Verfügbarkeit vorliegen.
Für den Kunden ist häufig nicht erkennbar, ob die Aussage aus einer verlässlichen Unternehmensquelle stammt oder lediglich vom Sprachmodell erzeugt wurde.
Falsche Antwort und fehlende Information unterscheiden
Nicht jede unvollständige Antwort ist eine Halluzination.
Wenn die benötigte Information fehlt und die KI das offen sagt, kann dies genau das richtige Verhalten sein.
Problematisch wird es, wenn das System fehlende Informationen durch plausible Vermutungen ersetzt.
Ein guter KI-Assistent muss deshalb nicht auf jede Frage eine Antwort haben. Er muss erkennen können, wann eine verlässliche Antwort nicht möglich ist.
2. Welche Geschäftsrisiken entstehen durch falsche KI-Antworten?
Die Folgen hängen davon ab, welche Aufgabe die KI übernimmt.
Ein Fehler in einem internen Textentwurf kann häufig vor der Veröffentlichung korrigiert werden.
Eine falsche Auskunft an einen Kunden kann dagegen Erwartungen schaffen, Rückfragen verursachen oder eine geschäftliche Entscheidung beeinflussen.
| Bereich | Möglicher KI-Fehler | Geschäftliche Folge |
|---|---|---|
| Leistungen | Eine nicht angebotene Leistung wird bestätigt. | Falsche Kundenerwartung und zusätzlicher Klärungsaufwand |
| Preise | Ein veralteter oder erfundener Preis wird genannt. | Konflikte und notwendige Korrekturen |
| Verfügbarkeit | Ein nicht bestätigter Termin wird zugesagt. | Fehlplanung und unzufriedene Kunden |
| Verträge | Eine nicht belegte Vertragsbedingung wird behauptet. | Rechtliche und wirtschaftliche Risiken |
| Technische Beratung | Eine ungeprüfte Eigenschaft wird als sicher dargestellt. | Fehlentscheidungen oder ungeeignete Produktauswahl |
| Kundenservice | Ein individueller Vorgang wird falsch interpretiert. | Unpassende Bearbeitung und Vertrauensverlust |
Besonders kritisch sind Aussagen, die eine verbindliche Entscheidung oder Zusage darstellen könnten.
Deshalb sollte ein Unternehmen nicht nur prüfen, ob eine KI technisch gute Antworten formuliert.
Es sollte auch festlegen, welche geschäftlichen Folgen eine falsche Antwort haben könnte.
3. Warum entstehen falsche KI-Antworten?
Generative Sprachmodelle erzeugen Antworten auf Grundlage gelernter Muster und des jeweils verfügbaren Kontexts.
Sie verfügen dadurch nicht automatisch über aktuelle, vollständige oder verbindliche Informationen zu einem bestimmten Unternehmen.
Das Modell kennt interne Änderungen nicht
Wenn sich Preise, Leistungen oder Geschäftsbedingungen ändern, muss diese Information dem verwendeten System in geeigneter Form zugänglich gemacht werden.
Andernfalls kann die KI mit veralteten Angaben arbeiten.
Die Frage enthält nicht genügend Kontext
Ein Kunde fragt beispielsweise:
„Ist die Lieferung nächste Woche möglich?“
Ohne Informationen zu Produkt, Standort, Bestellung und aktueller Verfügbarkeit lässt sich diese Frage möglicherweise nicht zuverlässig beantworten.
Ein problematisch konfigurierter Assistent könnte trotzdem eine konkrete Zusage formulieren.
Vorhandene Dokumente widersprechen sich
Auch eine angeschlossene Wissensdatenbank kann unterschiedliche Angaben enthalten.
Beispielsweise:
- eine alte Preisliste,
- eine neuere Leistungsbeschreibung,
- eine abweichende Information auf der Website,
- eine nicht freigegebene interne Notiz.
Wenn nicht geregelt ist, welche Quelle maßgeblich ist, kann die KI eine falsche oder widersprüchliche Antwort erzeugen.
Der Prompt fordert eine Antwort um jeden Preis
Anweisungen wie „Beantworte jede Kundenfrage vollständig“ können problematisch sein, wenn dem System Informationen fehlen.
Besser ist eine klare Regel:
Wenn die benötigte Information nicht zuverlässig verfügbar ist, soll die KI dies kenntlich machen und einen definierten nächsten Schritt anbieten.
Die wichtigste Voraussetzung für verlässliche Antworten ist nicht sprachliche Überzeugungskraft, sondern eine belastbare Informationsgrundlage.
4. Wie helfen geprüfte Wissensquellen gegen KI-Halluzinationen?
Ein Unternehmen kann die Antwortqualität verbessern, indem es einen KI-Assistenten gezielt mit freigegebenen Unternehmensinformationen verbindet.
Dafür werden häufig Wissenssysteme und Verfahren wie Retrieval-Augmented Generation, kurz RAG, eingesetzt.
Das Grundprinzip:
Bevor die KI antwortet, werden passende Informationen aus einer vorgesehenen Wissensquelle bereitgestellt.
Die Antwort soll sich anschließend auf diese Informationen stützen.
Wie solche Systeme grundsätzlich funktionieren, erläutert unser Beitrag KI mit Unternehmenswissen verbinden: RAG und Wissensdatenbanken.
Eine Wissensdatenbank ist nur so zuverlässig wie ihre Inhalte
RAG verhindert Halluzinationen nicht automatisch.
Wenn das System veraltete, widersprüchliche oder ungeeignete Dokumente findet, kann auch eine darauf basierende Antwort falsch sein.
Außerdem kann die KI bereitgestellte Informationen missverstehen oder Aussagen ergänzen, die in den Quellen nicht enthalten sind.
Deshalb braucht ein Wissenssystem klare Regeln.
- Welche Dokumente sind für Kundenantworten freigegeben?
- Wer ist für ihre fachliche Richtigkeit verantwortlich?
- Wie werden Änderungen übernommen?
- Welche Dokumentversion ist gültig?
- Was geschieht bei widersprüchlichen Informationen?
- Wie erkennt das System, dass keine ausreichende Quelle vorhanden ist?
Quellen müssen zur konkreten Aussage passen
Es genügt nicht, einer Antwort irgendeinen Dokumentverweis hinzuzufügen.
Die angegebene Quelle muss die konkrete Aussage tatsächlich stützen.
Besonders bei Preisen, Vertragsbedingungen oder technischen Eigenschaften sollte geprüft werden, ob die relevante Information vollständig und aktuell ist.
5. Welche Antworten darf ein KI-Assistent selbstständig geben?
Nicht jede Kundenfrage benötigt dieselbe Kontrolle.
Ein Unternehmen sollte deshalb die möglichen Antworten nach Risiko und Verbindlichkeit unterscheiden.
| Antworttyp | Mögliche Regel |
|---|---|
| Allgemeine Informationen aus freigegebenen Quellen | Automatische Antwort nach erfolgreicher Prüfung der definierten Voraussetzungen |
| Information fehlt oder ist widersprüchlich | Keine Vermutung; Rückfrage oder Übergabe an einen Mitarbeiter |
| Individuelle Preis- oder Lieferzusage | Nur mit geeigneter aktueller Datenbasis und ausdrücklich festgelegter Freigabelogik |
| Vertragsänderung oder verbindliche Sondervereinbarung | Bearbeitung durch eine zuständige Person |
| Beschwerde mit unklarem Sachverhalt | Informationen strukturiert aufnehmen und an die zuständige Stelle weitergeben |
| Sicherheitskritische oder rechtlich sensible Frage | Keine ungeprüfte verbindliche Auskunft; geeignete fachliche Prüfung |
Diese Einteilung ist ein Beispiel und muss an das jeweilige Unternehmen angepasst werden.
Antworten vorbereiten ist etwas anderes als Antworten versenden
Eine besonders einfache Einstiegsmöglichkeit besteht darin, KI zunächst nur für Antwortentwürfe einzusetzen.
Ein Mitarbeiter prüft die Fakten und entscheidet, ob der Text versendet werden darf.
Erst wenn die Qualität für klar abgegrenzte Standardfragen nachweisbar ausreichend ist, kann eine weitergehende Automatisierung geprüft werden.
Keine eigenständigen Zusagen ohne definierte Berechtigung
Ein KI-Assistent sollte nicht allein deshalb einen Preisnachlass, eine Rückerstattung oder einen Liefertermin bestätigen dürfen, weil der Kunde danach fragt.
Solche Entscheidungen benötigen eindeutige Regeln, geeignete Daten und gegebenenfalls eine menschliche Freigabe.
Die entscheidende Grenze verläuft nicht zwischen KI und Mensch, sondern zwischen vorbereitender Information und geschäftlich verbindlicher Handlung.
6. Wann muss ein Mitarbeiter übernehmen?
Ein sicherer KI-Prozess benötigt einen klaren Weg für Fragen, die das System nicht zuverlässig beantworten kann.
Diese Übergabe sollte nicht erst organisiert werden, wenn ein Fehler aufgetreten ist.
Typische Auslöser für eine Übergabe
- Die benötigte Information fehlt.
- Mehrere Quellen widersprechen sich.
- Der Kunde verlangt eine individuelle verbindliche Zusage.
- Die Frage betrifft einen nicht ausreichend dokumentierten Sonderfall.
- Die Antwort könnte erhebliche wirtschaftliche oder rechtliche Folgen haben.
- Ein Kunde widerspricht einer früheren Auskunft.
- Eine technische Prüfung oder Datenabfrage schlägt fehl.
Die Übergabe muss tatsächlich funktionieren
Es reicht nicht, dass die KI schreibt: „Bitte wenden Sie sich an unser Team.“
Der Prozess sollte festlegen, wer die Anfrage erhält, welche Informationen übergeben werden und wie die weitere Bearbeitung erfolgt.
Je nach Anwendungsfall kann die KI beispielsweise die Kundenfrage, den bekannten Sachverhalt und den Grund für die Übergabe strukturiert zusammenfassen.
Dabei sollten nur die Informationen übertragen werden, die für die Bearbeitung erforderlich sind.
Was passiert bei einer technischen Störung?
Auch ein Ausfall der Wissenssuche oder einer angeschlossenen Anwendung muss berücksichtigt werden.
Wenn die KI aktuelle Daten nicht abrufen kann, sollte sie keine Werte erfinden.
Stattdessen kann der Vorgang in einen definierten manuellen Bearbeitungsweg übergehen.
7. Wie testen Unternehmen die Qualität von KI-Kundenantworten?
Ein KI-Assistent sollte nicht allein anhand einiger erfolgreicher Demonstrationen bewertet werden.
Für einen belastbaren Test benötigt das Unternehmen typische Fragen aus dem tatsächlichen Arbeitsalltag.
Zusätzlich sollten gezielt schwierige Fälle geprüft werden.
Ein geeigneter Testsatz enthält unterschiedliche Situationen
- eine einfache Frage mit eindeutig dokumentierter Antwort,
- eine Frage mit mehreren relevanten Dokumenten,
- eine Frage zu einer kürzlich geänderten Information,
- eine Frage ohne verfügbare Antwort,
- eine Frage mit widersprüchlichen Quellen,
- eine individuelle Preis- oder Terminanfrage,
- eine mehrdeutige Kundenfrage,
- eine Frage außerhalb des vorgesehenen Aufgabenbereichs,
- eine Eingabe, die versucht, Antwortregeln zu umgehen.
Für die ersten Tests sollten nach Möglichkeit synthetische oder ausreichend anonymisierte Daten verwendet werden, sofern der Testzweck dies erlaubt.
Nicht nur die sprachliche Qualität bewerten
Eine freundliche und gut strukturierte Antwort kann sachlich falsch sein.
Deshalb sollten fachliche Kriterien getrennt betrachtet werden.
| Kriterium | Prüffrage |
|---|---|
| Faktische Richtigkeit | Stimmen die Aussagen mit den maßgeblichen Informationen überein? |
| Quellenbezug | Werden die wesentlichen Aussagen tatsächlich durch geeignete Quellen gestützt? |
| Aktualität | Wurden gültige Informationen verwendet? |
| Vollständigkeit | Wurden wichtige Bedingungen oder Einschränkungen berücksichtigt? |
| Antwortgrenzen | Vermeidet die KI unbelegte oder unzulässige Zusagen? |
| Übergabe | Wird ein nicht zuverlässig beantwortbarer Fall korrekt weitergeleitet? |
| Verständlichkeit | Ist die Antwort für den Kunden klar und angemessen formuliert? |
Fehlerarten getrennt dokumentieren
Wenn eine Antwort fehlerhaft ist, sollte möglichst erkennbar sein, woran es lag.
Beispielsweise:
- Die benötigte Information war nicht vorhanden.
- Die Quelle war veraltet.
- Die falsche Dokumentversion wurde verwendet.
- Die KI hat eine korrekte Quelle falsch interpretiert.
- Die KI hat eine zusätzliche unbelegte Aussage erzeugt.
- Eine notwendige Übergabe wurde nicht ausgelöst.
Diese Unterscheidung ist wichtig, weil nicht jeder Fehler durch dieselbe Maßnahme behoben werden kann.
Messbare Qualitätskontrolle festlegen
Für einen begrenzten Testsatz können beispielsweise folgende Kennzahlen verwendet werden:
- Fachlich korrekte Antworten: korrekte Antworten geteilt durch alle fachlich bewerteten Antworten.
- Unbelegte Aussagen: Antworten mit mindestens einer relevanten unbelegten Aussage geteilt durch alle bewerteten Antworten.
- Korrekte Übergaben: richtig übergebene Fälle geteilt durch alle Fälle, für die eine Übergabe vorgesehen war.
- Regelverstöße: Antworten mit Verstoß gegen definierte Antwortgrenzen, getrennt nach Schweregrad.
Zeitraum, Testumfang, Bewertungsregeln und Ausschlüsse sollten dokumentiert werden.
Eine gute Quote in einem kleinen Testsatz ist noch kein Beweis für zuverlässiges Verhalten bei allen späteren Kundenfragen.
Nach Änderungen an Modell, Prompt, Wissensquellen oder Schnittstellen sollten relevante Tests wiederholt werden.
Qualität auch nach dem Start überwachen
Auch nach einem erfolgreichen Pilot sollten Unternehmen die Antwortqualität regelmäßig kontrollieren. Neue Kundenfragen, geänderte Leistungen, aktualisierte Preise oder Änderungen am KI-System können dazu führen, dass bisher funktionierende Antworten nicht mehr zuverlässig sind.
Legen Sie deshalb fest, wer problematische Antworten prüft, wie Kundenhinweise und interne Fehlermeldungen erfasst werden und wann eine automatische Antwortfunktion vorübergehend eingeschränkt werden muss. Besonders kritische Fehler sollten nicht erst bei der nächsten planmäßigen Auswertung bearbeitet werden.
Entscheidend ist nicht nur, ob der Assistent beim Start funktioniert, sondern ob das Unternehmen Fehler im laufenden Betrieb erkennen und kontrolliert beheben kann.
8. Datenschutz und Informationssicherheit berücksichtigen
Wenn ein KI-Assistent echte Kundenanfragen verarbeitet, können personenbezogene und vertrauliche Informationen betroffen sein.
Deshalb sollte vor dem Einsatz geklärt werden, welche Daten für die jeweilige Aufgabe benötigt werden und an welche Systeme sie übertragen werden.
Zu prüfen sind insbesondere:
- Zweck und Rechtsgrundlage der Verarbeitung sowie erforderliche Datenschutzinformationen und gegebenenfalls KI-Transparenzhinweise,
- Datenminimierung,
- Zugriffsrechte auf Kundeninformationen und interne Dokumente,
- Einbindung externer KI- und Cloud-Anbieter,
- mögliche Auftragsverarbeitung nach Art. 28 DSGVO,
- angemessene technische und organisatorische Schutzmaßnahmen,
- Speicher- und Löschregeln,
- gegebenenfalls zusätzliche Anforderungen aufgrund des konkreten Risikos.
Interne Dokumente können ebenfalls Risiken enthalten
Ein Wissenssystem sollte nicht automatisch sämtliche internen Dateien für Kundenantworten verfügbar machen.
Es muss unterschieden werden, welche Informationen öffentlich verwendet werden dürfen und welche ausschließlich für bestimmte Mitarbeiter oder interne Prozesse bestimmt sind.
Auch Dokumente aus externen oder nicht vertrauenswürdigen Quellen können problematische Anweisungen enthalten.
Deshalb sollten solche Inhalte nicht ungeprüft als Handlungsanweisungen für den Assistenten behandelt werden.
Ein KI-System benötigt nicht nur richtige Informationen, sondern auch klare Berechtigungen dafür, welche Informationen es in welchem Kontext verwenden darf.
9. Checkliste: Ist Ihr KI-Assistent für Kundenantworten ausreichend vorbereitet?
- Aufgabe: Ist klar definiert, welche Kundenfragen der Assistent bearbeiten soll?
- Grenzen: Ist festgelegt, welche Fragen außerhalb seines Aufgabenbereichs liegen?
- Wissensquellen: Sind die verwendeten Unternehmensinformationen freigegeben?
- Verantwortung: Ist festgelegt, wer diese Informationen fachlich pflegt?
- Aktualität: Gibt es einen Prozess für Änderungen und veraltete Dokumente?
- Konflikte: Ist geregelt, was bei widersprüchlichen Quellen passiert?
- Unbekannt: Darf der Assistent ausdrücklich sagen, dass eine Information fehlt?
- Zusagen: Sind verbindliche Preis-, Termin- und Vertragsaussagen angemessen begrenzt?
- Freigabe: Ist festgelegt, welche Antworten ein Mitarbeiter prüfen muss?
- Übergabe: Funktioniert die Weiterleitung schwieriger Fälle an eine zuständige Person?
- Fehlerfall: Gibt es einen sicheren Ablauf bei Ausfall von Quellen oder Schnittstellen?
- Tests: Werden Standardfälle, Wissenslücken, Konflikte und Regelverstöße geprüft?
- Qualitätsmessung: Sind Bewertungskriterien und Fehlerarten definiert?
- Datenschutz: Sind Datenverarbeitung, Berechtigungen und externe Anbieter geprüft?
- Betrieb: Ist festgelegt, wer Fehler überwacht und Verbesserungen freigibt?
Wenn mehrere dieser Punkte noch offen sind, sollte der Assistent zunächst in einem begrenzten internen Test oder als Unterstützung für Mitarbeiter eingesetzt werden.
Eine automatische Kommunikation mit Kunden ist erst dann sinnvoll, wenn der konkrete Aufgabenbereich, die Kontrollen und die Verantwortlichkeiten ausreichend geklärt sind.
Verlässliche KI-Antworten entstehen durch klare Grenzen
KI-Assistenten können Unternehmen bei wiederkehrenden Kundenfragen unterstützen und Mitarbeitern einen Teil der vorbereitenden Arbeit abnehmen.
Doch eine flüssig formulierte Antwort ist noch keine verlässliche Auskunft.
Wer KI im Kundenkontakt einsetzen möchte, sollte deshalb zuerst die Informationsgrundlage und die Verantwortung für Aussagen klären.
Geprüfte Wissensquellen, eindeutige Antwortgrenzen, menschliche Übergaben und wiederholbare Qualitätstests sind dabei wichtiger als das Versprechen, dass ein Sprachmodell jede Frage selbstständig beantworten kann.
Das Ziel ist nicht, dass die KI immer antwortet. Das Ziel ist, dass Kunden nur solche Auskünfte erhalten, für die das Unternehmen eine ausreichende Grundlage und einen verantwortlichen Prozess hat.
Häufige Fragen zu KI-Halluzinationen im Unternehmen
Was bedeutet eine KI-Halluzination?
Eine KI-Halluzination liegt vor, wenn ein generatives KI-System falsche, erfundene oder nicht ausreichend belegte Inhalte erzeugt. Solche Aussagen können sprachlich überzeugend wirken, obwohl ihnen eine verlässliche Grundlage fehlt.
Kann man KI-Halluzinationen vollständig verhindern?
Eine vollständige Fehlerfreiheit lässt sich bei generativen KI-Systemen nicht allgemein garantieren. Unternehmen können Risiken jedoch durch geprüfte Wissensquellen, klare Antwortregeln, geeignete technische Kontrollen, menschliche Freigaben und regelmäßige Tests reduzieren.
Hilft ein besserer Prompt gegen falsche KI-Antworten?
Klare Anweisungen können das gewünschte Antwortverhalten verbessern. Sie ersetzen aber keine verlässlichen Unternehmensdaten. Wenn aktuelle Preise oder Bedingungen fehlen, kann ein Prompt diese Informationen nicht zuverlässig erzeugen.
Verhindert RAG Halluzinationen?
RAG kann die Antwortqualität verbessern, indem passende Informationen aus vorgesehenen Wissensquellen bereitgestellt werden. Fehler bleiben dennoch möglich, etwa durch veraltete Dokumente, falsche Quellenzuordnung oder fehlerhafte Interpretation. RAG ist deshalb keine Garantie für korrekte Antworten.
Darf ein KI-Chatbot Kunden automatisch Preise nennen?
Das hängt von der konkreten Anwendung ab. Für automatische Preisangaben müssen insbesondere eine verlässliche aktuelle Datenbasis, klare Geschäftsregeln und geeignete Kontrollen vorhanden sein. Individuelle oder verbindliche Sonderzusagen sollten nicht ohne ausdrücklich geregelte Berechtigung erfolgen.
Wann sollte eine KI-Frage an einen Mitarbeiter weitergegeben werden?
Eine Übergabe ist insbesondere dann sinnvoll, wenn Informationen fehlen, Quellen widersprüchlich sind, eine individuelle Zusage erforderlich ist oder erhebliche wirtschaftliche beziehungsweise rechtliche Folgen entstehen können. Die Zuständigkeit und der Ablauf sollten vor dem Einsatz festgelegt werden.
Wie misst man die Qualität von KI-Kundenantworten?
Unternehmen können einen definierten Testsatz mit typischen und schwierigen Kundenfragen verwenden. Bewertet werden sollten unter anderem faktische Richtigkeit, Quellenbezug, unbelegte Aussagen, Einhaltung von Antwortgrenzen und korrekte Übergaben. Zähler, Nenner, Zeitraum und Bewertungskriterien müssen dokumentiert werden.
Ist ein KI-Assistent für Kundenservice nach DSGVO erlaubt?
Der Einsatz ist nicht allein aufgrund der verwendeten KI-Technologie verboten oder automatisch zulässig. Entscheidend sind die konkrete Verarbeitung, ihre Rechtsgrundlage, Datenminimierung, Zugriffsrechte, angemessene Schutzmaßnahmen und die Einbindung externer Anbieter. Diese Anforderungen sollten vor dem produktiven Einsatz geprüft werden.