RAG (Retrieval-Augmented Generation)

Definition

In einer RAG-Pipeline wird die Nutzerfrage zunächst in ein Embedding überführt und gegen einen Vektorindex von Dokumenten-Chunks gesucht. Die ähnlichsten Passagen werden optional durch ein Reranking-Modell neu geordnet und als Kontext an das Sprachmodell weitergegeben. Das Modell generiert dann eine Antwort auf Basis des abgerufenen Materials, idealerweise mit Zitaten und Quell-Referenzen. RAG macht LLMs aktuell, domänenspezifisch und auditierbar, ohne das Grundmodell neu trainieren zu müssen.

So nutzt Swiss Knowledge Hub diesen Begriff

Swiss Knowledge Hub ist als RAG-Plattform konzipiert: Jede Antwort enthält die verwendeten Quell-Chunks inklusive Seitenzahl und direktem Sprung in das Ursprungsdokument. Dadurch werden Halluzinationen reduziert und Compliance-Audits erleichtert.

Verwandte Begriffe

• LLM (Large Language Model)
• Embedding
• Vektordatenbank (Vector Store)
• Chunking
• Reranking
• Fine-Tuning vs. RAG

Quellen

1. Wikipedia: Retrieval-augmented generation — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
2. Lewis et al. (2020) — Retrieval-Augmented Generation for Knowledge-Intensive NLP — https://arxiv.org/abs/2005.11401