KI-Halluzinationen vermeiden: So gelingt es im Unternehmen

Um KI-Halluzinationen zu vermeiden, geben Sie dem Modell die Fakten, statt es aus dem Gedächtnis antworten zu lassen, weisen Sie es an, nur auf Basis dieser Fakten zu antworten und Fehlendes zu benennen, schränken Sie das Ausgabeformat ein, prüfen Sie kritische Details automatisch oder durch einen Menschen und lassen Sie folgenreiche Ergebnisse menschlich prüfen. Ganz ausschließen lassen sich Halluzinationen nicht. Das Ziel ist daher ein Prozess, in dem sie selten sind und abgefangen werden, bevor sie Schaden anrichten.

Warum Sprachmodelle halluzinieren

Ein großes Sprachmodell erzeugt Text, indem es auf Basis der im Training gelernten Muster und des Prompt-Inhalts wahrscheinliche nächste Tokens vorhersagt. Es hat keinen eingebauten Mechanismus, der prüft, ob eine Aussage wahr ist. Enthält der Prompt die nötigen Fakten nicht und deckt das Training sie nicht zuverlässig ab, produziert es trotzdem flüssigen, selbstsicheren Text – der falsch sein kann.

Häufige Auslöser:

• Fehlende Informationen. Fragen zu Ihren internen Richtlinien, einem bestimmten Kunden oder allem, was das Modell nie erhalten hat.
• Konkrete Details. Exakte Zahlen, Daten, Namen, Produktspezifikationen, rechtliche Verweise und Quellenangaben.
• Aktuelle Ereignisse. Dinge, die nach der Sammlung der Trainingsdaten passiert sind.
• Suggestivfragen. „Warum ist X die beste Option?“ lädt das Modell ein, eine Prämisse zu rechtfertigen.
• Antwortdruck. Prompts, die eine Antwort verlangen, lassen keinen Raum für „Ich weiß es nicht“.
• Langer, unübersichtlicher Kontext. Wichtige Fakten, die in großen Dokumenten versteckt sind, werden übersehen oder verwechselt.

Arten von Halluzinationen, auf die Sie achten sollten

Art	Beispiel
Erfundene Fakten	Eine Produktfunktion, die es nicht gibt
Falsche Zahlen	Ein Betrag, Datum oder Prozentsatz, der nicht zur Quelle passt
Erfundene Quellen	Ein Zitat, eine Studie oder eine URL, die nicht existiert
Falsche Zuordnung	Eine Aussage wird dem falschen Dokument, der falschen Person oder dem falschen Abschnitt zugeschrieben
Unbelegte Schlussfolgerungen	Eine Empfehlung, die die bereitgestellten Daten nicht stützen
Abweichen von Anweisungen	Eine Regel wird ignoriert, etwa eine Erstattung versprochen, die die Richtlinie nicht erlaubt

Wer die Arten kennt, kann die passenden Prüfungen gestalten.

Strategie 1: Das Modell an Quellen binden

Der wirksamste Einzelschritt: Liefern Sie die Fakten. Statt „Wie lautet unsere Retourenrichtlinie?“ senden Sie den Richtlinientext mit der Frage und weisen das Modell an, daraus zu antworten.

Bei größeren Wissensbeständen nutzen Sie Retrieval: Durchsuchen Sie Ihre Dokumente nach den für jede Frage relevanten Passagen und fügen Sie nur diese in den Prompt ein. Dieser Ansatz heißt Retrieval-Augmented Generation (RAG). Unser Vergleich RAG vs. Fine-Tuning erklärt, wie das funktioniert und warum Fine-Tuning meist nicht die Lösung für faktische Genauigkeit ist.

Quellenbindung funktioniert am besten, wenn:

• die abgerufenen Passagen die Antwort tatsächlich enthalten (die Qualität des Retrievals zählt),
• die Quellen aktuell und widerspruchsfrei sind,
• der Prompt Quellen klar von Anweisungen trennt.

Strategie 2: Prompts schreiben, die „Ich weiß es nicht“ erlauben

Ergänzen Sie ausdrückliche Regeln:

• „Antworte nur mit den Informationen aus den Quellen unten.“
• „Enthalten die Quellen die Antwort nicht, sage, dass die Information nicht verfügbar ist. Rate nicht.“
• „Gib Zahlen exakt so wieder, wie sie in der Quelle stehen.“
• „Widersprechen sich Quellen, weise auf den Widerspruch hin, statt eine auszuwählen.“

Damit ändert sich das Standardverhalten des Modells von „eine Antwort liefern“ zu „eine belegte Antwort liefern“. Wie Sie Regeln klar formulieren, zeigt der Leitfaden zu Prompt Engineering im Unternehmen, und der KI-Prompt-Generator enthält eine Option, die eine Anweisung ergänzt, Unsicherheit zu benennen statt zu raten.

Strategie 3: Belege verlangen

Verlangen Sie vom Modell, für jede Aussage die Herkunft anzugeben:

• „Nenne für jeden Kernpunkt die Abschnittsnummer oder ein kurzes Zitat aus der Quelle.“
• „Liste am Ende die verwendeten Quellen auf.“

Das macht die Prüfung für Prüfende deutlich schneller. Eine Garantie ist es nicht, denn auch Zitate können falsch sein – die Zitate selbst sollten also geprüft werden, idealerweise automatisch.

Strategie 4: Die Ausgabe einschränken

Freitext lässt dem Modell Raum zum Ausschmücken. Strukturierte Ausgaben verringern ihn:

• Verlangen Sie konkrete Felder statt Fließtext.
• Nutzen Sie null oder „nicht gefunden“ für fehlende Werte.
• Nutzen Sie, wo verfügbar, die Funktionen Ihres Anbieters für strukturierte Ausgaben oder Schemas.
• Begrenzen Sie die Länge. Lange Antworten enthalten mehr Aussagen, also mehr Gelegenheiten für Fehler.

Strategie 5: Aufgaben in Schritte zerlegen

Ein großer Prompt, der recherchiert, analysiert und schreibt, lädt zu Fehlern ein. Aufteilen hilft:

1. Die relevanten Fakten aus den Quellen auslesen.
2. Die ausgelesenen Fakten prüfen (per Code, mit einem zweiten Modellaufruf oder durch einen Menschen).
3. Die Antwort nur mit den geprüften Fakten schreiben.

Jeder Schritt ist einfacher und leichter zu prüfen.

Strategie 6: Automatisch prüfen, wo es geht

Viele Halluzinationen lassen sich mit einfachen Code-Prüfungen abfangen:

• Kommen alle Zahlen der Antwort in der Quelle vor?
• Stehen zitierte Passagen wörtlich in der Quelle?
• Stimmen Produktnamen, Bestellnummern oder Kundennamen mit der Datenbank überein?
• Führen Links zu echten Seiten Ihrer Website?
• Entspricht die Ausgabe dem vorgeschriebenen Schema?

Automatische Prüfungen sind günstig und laufen bei jedem Ergebnis – was menschliche Prüfung allein bei großem Volumen nicht immer leisten kann.

Strategie 7: Menschen dort einbinden, wo es zählt

Bei kundennahen, finanziellen, rechtlichen oder anderweitig folgenreichen Ergebnissen sollte ein Mensch vor der Verwendung prüfen, zumindest bis klare Belege für Zuverlässigkeit vorliegen. Gestalten Sie die Prüfung so, dass die prüfende Person die Quelle neben dem Ergebnis sieht und weiß, worauf sie achten muss. Unser Leitfaden zu Human-in-the-Loop-KI erklärt, wie die Prüfung wirksam bleibt und nicht zum bloßen Abnicken wird.

Strategie 8: Das richtige Modell und die richtigen Einstellungen wählen

Modelle unterscheiden sich darin, wie gut sie Anweisungen befolgen und bei den Quellen bleiben. Testen Sie Kandidaten an Ihren eigenen Fällen mit Fragen, deren richtige Antworten Sie kennen – inklusive Fragen, die die Quellen nicht beantworten. Ein Vorgehen zur Bewertung finden Sie unter das richtige LLM auswählen. Auch Einstellungen können zählen: Für faktische Aufgaben liefern niedrigere Zufallseinstellungen, sofern verfügbar, meist konsistentere Ergebnisse.

Beispiel: ein Prompt für quellengebundene Antworten

Du beantwortest Fragen von Mitarbeitenden zu Unternehmensrichtlinien.

Quellen:
<source id="1">[Auszug aus der Richtlinie]</source>
<source id="2">[Auszug aus der Richtlinie]</source>

Regeln:
- Antworte nur aus den Quellen. Nenne nach jeder Aussage die Quellen-ID, z. B. [1].
- Beantworten die Quellen die Frage nicht, antworte: "Dazu habe ich in den
  Richtlinien nichts gefunden. Bitte wende dich an die Personalabteilung." Ergänze
  keine allgemeinen Ratschläge.
- Gib Zahlen und Fristen exakt wieder.
- Widersprechen sich zwei Quellen, sage das und nenne beide.

Frage: """[Frage der Mitarbeiterin oder des Mitarbeiters]"""

Halluzinationsraten messen

Um zu wissen, ob Ihre Änderungen wirken, messen Sie:

1. Erstellen Sie ein Testset mit Fragen und bekannten richtigen Antworten, darunter einige, die sich aus den Quellen nicht beantworten lassen.
2. Lassen Sie das System laufen und markieren Sie jede Antwort als richtig, teilweise richtig, falsch oder korrekt abgelehnt.
3. Achten Sie besonders auf falsche Antworten, die selbstsicher klingen.
4. Wiederholen Sie das nach jeder Änderung an Prompts, Retrieval, Quellen oder Modell.

Verfolgen Sie über die Zeit den Anteil unbelegter Aussagen, nicht nur die Gesamtgenauigkeit.

Wo Halluzinationen das größte Risiko bergen

Bereich	Warum	Mindestkontrolle
Kundenkommunikation	Falsche Zusagen, Preise oder Richtlinien	Quellenbindung + menschliche Prüfung
Rechts- und Compliance-Inhalte	Erfundene Verweise oder Pflichten	Immer Prüfung durch Fachleute
Finanzzahlen	Fehler pflanzen sich in Entscheidungen fort	Automatische Zahlenprüfung + Prüfung
Medizinische oder Sicherheitsinformationen	Möglicher Schaden	Nicht ohne fachliche Aufsicht automatisieren
Veröffentlichte Inhalte	Reputationsschaden	Faktencheck vor der Veröffentlichung

Typische Fehler

• Flüssigem Text vertrauen. Gut geschrieben heißt nicht richtig.
• Das Modell nach etwas fragen, das es nicht wissen kann. Liefern Sie die Information stattdessen.
• Quellenangaben als Beweis behandeln. Prüfen Sie, ob die zitierten Quellen existieren und das Behauptete sagen.
• Kein Testset. Ohne Messung sind Verbesserungen Rätselraten.
• Die Prüfung zu früh abschaffen. Eine Reihe guter Ergebnisse beweist noch keine Zuverlässigkeit bei ungewöhnlichen Fällen.

Fazit

Halluzinationen sind eine Eigenschaft der Funktionsweise von Sprachmodellen, kein seltener Fehler. Verringern Sie sie, indem Sie Antworten an Quellen binden, „Ich weiß es nicht“ erlauben, Ausgaben einschränken, kritische Details prüfen und bei allem Folgenreichen Menschen einbinden. Bauen Sie diese Kontrollen von Anfang an ein – als Teil Ihres Plans zur KI-Einführung im Mittelstand.