Zum Inhalt springen

Archiv und Wissenssysteme · 4 Min. Lesezeit

RAG mit Beleg: wie sich eine Antwort technisch prüfen lässt

Eine KI, die aus Dokumenten antwortet, kann an zwei Stellen danebenliegen. Beide Fehler lassen sich technisch prüfen, und das System kann im Zweifel die Antwort verweigern.

Retrieval-Augmented Generation (RAG) lässt ein Sprachmodell aus eigenen Dokumenten antworten. Halluzinationen entstehen, wenn das Modell über die gefundene Textstelle hinaus „kreativ“ wird. Die Lösung liegt in der Architektur: eine bessere Trefferqualität beim Finden der Textstelle und eine strikte, prüfbare Bindung jeder Aussage an diese Textstelle.

Auf einen Blick

  • Hybride Suche aus Stichwort- und Vektorsuche findet mehr relevante Textstellen als jede der beiden Methoden allein.
  • Danach entscheidet die Prüfung: Jeder einzelne Satz einer Antwort wird nach festgelegten Schwellenwerten gegen die gefundenen Quellsätze geprüft.
  • Findet sich kein ausreichender Beleg, muss das System das sagen. Die Verweigerung ist ein gültiges Ergebnis.

Wo RAG halluziniert

Ein Modell, das aus abgerufenen Dokumenten antwortet, macht zwei getrennte Schritte. Es sucht passende Textstellen (Retrieval) und formuliert daraus eine Antwort (Generation). Halluzination entsteht meist im zweiten Schritt. Das Modell formuliert mehr, als die Textstelle hergibt, oder verbindet mehrere Quellen zu einer Aussage, die keine einzelne Quelle stützt. Eine belastbare Architektur behandelt beide Schritte getrennt.

Hybride Suche als Grundlage

Reine Vektorsuche findet Bedeutung und verliert exakte Begriffe wie Artikelnummern, Namen und Aktenzeichen. Die klassische Stichwortsuche (BM25) ist bei exakten Begriffen stark und bei sinngemäßen Umschreibungen schwach. Kombiniert das System beide, etwa per Reciprocal Rank Fusion, steigt die Trefferqualität messbar gegenüber jeder Einzelmethode. Aus der größeren Kandidatenmenge wählt anschließend ein Cross-Encoder-Reranker die relevantesten Textstellen aus. Nur diese gehen an das Modell, mit weniger Rauschen und einer präziseren Grundlage für die Antwort.

Die Prüfung, Satz für Satz

Danach wird jeder einzelne Satz gegen die inhaltlich nächsten Quellsätze geprüft. Ein Prüfmodell bewertet für jeden Antwortsatz, ob die gefundenen Quellsätze ihn stützen. Reicht die Stützung nach den festgelegten Schwellenwerten nicht aus, entfällt der Satz, und das System meldet, dass es keinen ausreichenden Beleg findet.

Wenn der Beleg fehlt

Findet das System für eine Aussage keinen ausreichenden Beleg, lässt es sie weg und sagt das. Der Anwender sieht dann, wo die Quellen nicht tragen.

Halluzinationen lassen sich nicht vollständig ausschließen. Das System prüft jeden Satz gegen die gefundenen Quellsätze, und was die Prüfung nicht besteht, erscheint nicht in der Antwort.

Nachvollziehbarkeit bis zum Ursprungssatz

Über die Prüfung der Antwort hinaus lässt sich Belegtreue im Wissensbestand selbst verankern, etwa in einem Wissensgraphen. Jede gespeicherte Beziehung führt dort zwei getrennte Zeitachsen: seit wann ein Sachverhalt in der realen Welt gilt und seit wann das System davon weiß. An jeder einzelnen Kante hängen der Ursprungssatz, die Zeichenposition und der wörtliche Belegtext. Korrekturen löschen eine ältere Fassung nie. Sie schließen sie ab und eröffnen eine neue, damit der alte Beleg nachvollziehbar bleibt. So lässt sich jede Aussage im System anklicken und bis zum genauen Satz im Ursprungsdokument zurückverfolgen.

Wie das in einem Archivsystem aussieht, zeigt unser Produkt RETRAYA. Warum diese Architektur auch Löschbegehren erleichtert, steht im Artikel KI und DSGVO im Unternehmen.

Häufige Fragen

Kann RAG Halluzinationen vollständig ausschließen?

Sie lassen sich stark verringern, und ein kleiner Rest bleibt. Das gelingt mit hybrider Suche, Reranking und einer satzweisen Prüfung mit festgelegtem Schwellenwert, bei der „kein ausreichender Beleg gefunden“ eine gültige Antwort ist.

Warum reicht reine Vektorsuche nicht aus?

Sie findet Bedeutung gut und exakte Begriffe wie Namen oder Aktenzeichen schlecht. Die Kombination mit klassischer Stichwortsuche verbessert die Trefferqualität messbar gegenüber jeder Einzelmethode.

Was passiert, wenn das System keinen Beleg für eine Aussage findet?

Es lässt die Aussage weg und nennt den fehlenden Beleg.

Was unterscheidet eine satzweise Prüfung von einer allgemeinen Quellenangabe?

Eine allgemeine Quellenangabe zeigt ungefähr, woher eine Antwort stammt. Eine satzweise Prüfung mit festgelegtem Schwellenwert prüft, ob jeder einzelne Satz von einer konkreten Textstelle gestützt wird.

Fragen zu belegten Antworten aus Ihren Dokumenten?

Wir zeigen Ihnen, wie die satzweise Prüfung an Ihrem Bestand arbeitet.