Context Window

Definition

Das Context Window (deutsch: Kontextfenster) bezeichnet die obere Grenze an Tokens, die ein Sprachmodell in einer einzelnen Anfrage lesen und generieren kann. Moderne Modelle liegen je nach Architektur zwischen einigen Tausend und mehreren Millionen Tokens. Wird das Fenster überschritten, muss vorheriger Kontext gekürzt, zusammengefasst oder über Retrieval wieder eingeführt werden. Längere Fenster erleichtern RAG und Agent-Workflows, erhöhen aber Latenz und Kosten.

So nutzt Swiss Knowledge Hub diesen Begriff

In Swiss Knowledge Hub wird pro Anfrage nur jener Chunk-Kontext an das LLM gegeben, der laut Retrieval wirklich relevant ist. Dadurch bleiben Antworten schnell und kosteneffizient, unabhängig davon, wie gross das Context Window des gewählten Modells ist.

Verwandte Begriffe

• Tokenisierung
• LLM (Large Language Model)
• RAG (Retrieval-Augmented Generation)
• Chunking
• Reranking

Quellen

1. Wikipedia: Large language model — Context window — https://en.wikipedia.org/wiki/Large_language_model#Context_window