Warum KI halluziniert und was das über ihre Funktionsweise verrät

Viele Führungskräfte gehen davon aus, dass ein Sprachmodell funktioniert wie eine sehr kluge Suchmaschine: Man stellt eine Frage, das System durchsucht zuverlässig sein Wissen und liefert die richtige Antwort. Dieser Gedanke ist nachvollziehbar, aber er entspricht nicht der Realität.

Moderne KI-Sprachmodelle wie ChatGPT oder vergleichbare Systeme arbeiten nach einem grundlegend anderen Prinzip. Sie wurden darauf trainiert, das jeweils nächste Wort in einer Sequenz vorherzusagen. Fachleute nennen das "Next-Token-Prediction". Das Ergebnis klingt oft präzise und sachlich, ist aber im Kern eine statistische Schätzung: Welches Wort passt in diesem Kontext am wahrscheinlichsten?

Genau das führt zu einem Problem, das in vielen Chefetagen noch zu wenig bekannt ist: Halluzinationen. Wenn ein Sprachmodell eine Antwort nicht kennt, gibt es das selten offen zu. Es füllt die Lücke stattdessen mit dem, was statistisch plausibel klingt. Das Modell erfindet Gerichtsurteile, zitiert nicht existierende Studien oder beschreibt Produkteigenschaften, die es nie gab. Überzeugend formuliert, sachlich falsch (siehe Abbildung 1).

Wer solche Systeme ungefiltert für Geschäftsentscheidungen nutzt, geht ein erhebliches Risiko ein.

Abbildung 1: KI-Halluzination

Die Lösung: RAG

RAG steht für Retrieval-Augmented Generation und beschreibt einen Ansatz, bei dem das Sprachmodell nicht auf sein allgemeines Trainingswissen angewiesen ist, sondern auf Ihre eigenen, verifizierten Unternehmensdaten zugreifen kann. ERP-Systeme, CRM-Datenbanken, interne Handbücher: All das wird zur verlässlichen Wissensquelle des Systems.

Der Ablauf lässt sich in drei Schritten beschreiben:

1. Suchen (Retrieval): Bevor das Modell antwortet, durchsucht das System Ihre internen Datenquellen nach relevanten Fakten.

2. Anreichern (Augmentation): Diese verifizierten Informationen werden der ursprünglichen Frage beigefügt.

3. Generieren (Generation): Das Modell formuliert seine Antwort auf Grundlage dieser bereitgestellten Fakten statt auf Basis unscharfen Trainingswissens.

   
   

Das Ergebnis ist ein Assistenzsystem, das nachvollziehbare und belegbare Antworten liefert. Halluzinationen bei faktischen Fragen lassen sich damit zwar nicht vollständig ausschließen, aber deutlich reduzieren.

Fazit

Ein Sprachmodell ist keine Wissensdatenbank. Es ist ein Werkzeug zur Sprachgenerierung, das Wahrscheinlichkeiten berechnet. Wer das versteht und die richtigen technischen Rahmenbedingungen schafft, kann KI verlässlich und verantwortungsvoll im Unternehmensalltag einsetzen.