Warum RAG halluziniert, und wie man es verhindert
Retrieval-Augmented Generation (RAG) lässt ein Sprachmodell aus Ihren Dokumenten antworten. Halluzinationen entstehen, wenn das Modell ohne ausreichenden Beleg „kreativ“ wird. Die Lösung ist keine Magie, sondern Architektur: bessere Retrieval-Qualität und strikte Beleg-Bindung.
1. Hybride Suche statt nur Vektoren
Reine Vektorsuche findet Bedeutung, verliert aber exakte Begriffe (Artikelnummern, Namen). Klassische Stichwortsuche (BM25) ist umgekehrt. Wir kombinieren beide und fusionieren die Ergebnisse per Reciprocal Rank Fusion, so steigt die Trefferqualität messbar.
2. Reranking: die Spreu vom Weizen
Aus den Top-50-Kandidaten wählt ein Cross-Encoder-Reranker (z. B. bge-reranker-v2-m3) die fünf relevantesten Passagen aus. Erst diese gehen an das Modell, weniger Rauschen, präzisere Antwort.
3. Quellenbindung und „nicht gefunden“
Jede Antwort wird an konkrete Quell-Passagen gebunden und mit Fundstelle ausgegeben. Findet das System keinen Beleg, antwortet es ehrlich mit „nicht gefunden“ statt zu raten. Im Archiv-Kontext kommt Revisionssicherheit nach GoBD und den Aufbewahrungsfristen des § 147 AO hinzu.