Retrieval-Augmented Generation (RAG) lässt ein Sprachmodell aus eigenen Dokumenten antworten. Halluzinationen entstehen, wenn das Modell über die gefundene Textstelle hinaus „kreativ“ wird. Die Lösung liegt in der Architektur: eine bessere Trefferqualität beim Finden der Textstelle und eine strikte, prüfbare Bindung jeder Aussage an diese Textstelle.
Auf einen Blick
- Hybride Suche aus Stichwort- und Vektorsuche findet mehr relevante Textstellen als jede der beiden Methoden allein.
- Danach entscheidet die Prüfung: Jeder einzelne Satz einer Antwort wird nach festgelegten Schwellenwerten gegen die gefundenen Quellsätze geprüft.
- Findet sich kein ausreichender Beleg, muss das System das sagen. Die Verweigerung ist ein gültiges Ergebnis.
Wo RAG halluziniert
Ein Modell, das aus abgerufenen Dokumenten antwortet, macht zwei getrennte Schritte. Es sucht passende Textstellen (Retrieval) und formuliert daraus eine Antwort (Generation). Halluzination entsteht meist im zweiten Schritt. Das Modell formuliert mehr, als die Textstelle hergibt, oder verbindet mehrere Quellen zu einer Aussage, die keine einzelne Quelle stützt. Eine belastbare Architektur behandelt beide Schritte getrennt.
Hybride Suche als Grundlage
Reine Vektorsuche findet Bedeutung und verliert exakte Begriffe wie Artikelnummern, Namen und Aktenzeichen. Die klassische Stichwortsuche (BM25) ist bei exakten Begriffen stark und bei sinngemäßen Umschreibungen schwach. Kombiniert das System beide, etwa per Reciprocal Rank Fusion, steigt die Trefferqualität messbar gegenüber jeder Einzelmethode. Aus der größeren Kandidatenmenge wählt anschließend ein Cross-Encoder-Reranker die relevantesten Textstellen aus. Nur diese gehen an das Modell, mit weniger Rauschen und einer präziseren Grundlage für die Antwort.
Die Prüfung, Satz für Satz
Danach wird jeder einzelne Satz gegen die inhaltlich nächsten Quellsätze geprüft. Ein Prüfmodell bewertet für jeden Antwortsatz, ob die gefundenen Quellsätze ihn stützen. Reicht die Stützung nach den festgelegten Schwellenwerten nicht aus, entfällt der Satz, und das System meldet, dass es keinen ausreichenden Beleg findet.
Wenn der Beleg fehlt
Findet das System für eine Aussage keinen ausreichenden Beleg, lässt es sie weg und sagt das. Der Anwender sieht dann, wo die Quellen nicht tragen.
Halluzinationen lassen sich nicht vollständig ausschließen. Das System prüft jeden Satz gegen die gefundenen Quellsätze, und was die Prüfung nicht besteht, erscheint nicht in der Antwort.
Nachvollziehbarkeit bis zum Ursprungssatz
Über die Prüfung der Antwort hinaus lässt sich Belegtreue im Wissensbestand selbst verankern, etwa in einem Wissensgraphen. Jede gespeicherte Beziehung führt dort zwei getrennte Zeitachsen: seit wann ein Sachverhalt in der realen Welt gilt und seit wann das System davon weiß. An jeder einzelnen Kante hängen der Ursprungssatz, die Zeichenposition und der wörtliche Belegtext. Korrekturen löschen eine ältere Fassung nie. Sie schließen sie ab und eröffnen eine neue, damit der alte Beleg nachvollziehbar bleibt. So lässt sich jede Aussage im System anklicken und bis zum genauen Satz im Ursprungsdokument zurückverfolgen.
Wie das in einem Archivsystem aussieht, zeigt unser Produkt RETRAYA. Warum diese Architektur auch Löschbegehren erleichtert, steht im Artikel KI und DSGVO im Unternehmen.