Fine-Tuning vs. RAG

Definition

Fine-Tuning ist das Weitertrainieren eines vortrainierten Sprachmodells auf domänenspezifischen Daten. Es verändert die Gewichte des Modells und eignet sich, wenn Stil, Format oder Verhalten reproduzierbar gelernt werden sollen. Retrieval-Augmented Generation (RAG) lässt das Modell unverändert und reicht zur Laufzeit relevante Dokumente als Kontext ein — dadurch bleibt Wissen aktuell, auditierbar und ohne erneutes Training austauschbar. In der Praxis werden beide Ansätze häufig kombiniert: Fine-Tuning für Verhalten und Format, RAG für Fakten und Quellen.

So nutzt Swiss Knowledge Hub diesen Begriff

Swiss Knowledge Hub setzt bewusst auf RAG statt kundenindividuelles Fine-Tuning, weil sich Inhalte in Schweizer Organisationen (Weisungen, Verträge, Pläne) häufig ändern und jederzeit nachvollziehbar bleiben müssen. Fine-Tuning-Bedarf wird im Custom-Plan separat evaluiert.

Verwandte Begriffe

• RAG (Retrieval-Augmented Generation)
• LLM (Large Language Model)
• Hallucination
• Embedding

Quellen

1. Wikipedia: Fine-tuning (deep learning) — https://en.wikipedia.org/wiki/Fine-tuning_(deep_learning)
2. OpenAI — Fine-tuning Guide — https://platform.openai.com/docs/guides/fine-tuning