Mehr Kontext ist nicht immer besser: Was jenseits von 64k Tokens passiert

Die Intuition ist verführerisch: Wenn etwas abgerufener Kontext hilft, muss mehr davon mehr helfen. Ruf fünfzig Dokumente ab statt fünf. Eine große Benchmarking-Studie fand, dass die Intuition bricht.

TL;DR

Mehr abgerufenen Kontext hinzuzufügen hilft — bis zu einem Punkt, dann stagniert es.
Bei vielen Modellen sinkt die Genauigkeit sogar, sobald der Kontext sehr lang wird.
Nur die stärksten Modelle halten bei sehr langem Kontext stand; die meisten verschlechtern sich früher.

Die Versuchung, „einfach mehr abzurufen“

In einem Retrieval-System wählen Sie, wie viel Sie zurückholen. Da lange Fenster billig zu füllen sind, warum nicht großzügig abrufen und das Modell sieben lassen? Die Hoffnung ist, dass mehr abgerufene Passagen eine höhere Chance bedeuten, dass die Antwort irgendwo im Prompt steht.

Was die Forschung zeigt

In Long Context RAG Performance of LLMs führten Forschende bei Databricks Retrieval-Experimente über 20 quelloffene und kommerzielle Modelle durch — quer durch die großen Familien — auf drei domänenspezifischen Datensätzen. Für jeden hielten sie den Retriever fest und steigerten stetig die Menge des abgerufenen Kontexts, der ins Modell gespeist wurde, von 2.000 bis zu 128.000 Tokens (und bis zu zwei Millionen, wo das Modell es erlaubte), und maßen bei jedem Schritt die Korrektheit der Antwort.

Das Muster war einheitlich: Die Genauigkeit verbessert sich zunächst, wenn man Kontext hinzufügt, dann sättigt sie sich, und bei vielen Modellen sinkt sie, während der Kontext weiter wächst. Entscheidend: Nur eine Handvoll der neuesten State-of-the-Art-Modelle hielt die Genauigkeit über etwa 64.000 Tokens hinaus stabil; die meisten erreichten ihren Höhepunkt früher und fielen ab. Mehr Tokens im Fenster übersetzten sich nicht in mehr richtige Antworten.

Eine wiederkehrende Form: Die Genauigkeit steigt mit abgerufenem Kontext, erreicht ein Plateau, sobald „genug“ vorhanden ist, und kann dann sinken, wenn der Prompt sehr lang wird. Illustrativ für den berichteten Trend.

Ebenso aufschlussreich waren die Arten, auf die Modelle bei langem Kontext scheiterten. Die Studie katalogisierte deutliche Fehlermodi, die je nach Modellfamilie variierten — schlicht falsche Antworten, Antwortverweigerung (mitunter aus Sicherheits- oder Urheberrechtsgründen), das Ignorieren der Anweisungen und das Abgleiten in wiederholte oder themenfremde Ausgaben. Ein langer Kontext scheitert nicht auf eine saubere Weise; er scheitert auf mehrere.

Das Fenster zu füllen ist leicht. Das Modell dazu zu bringen, alles darin zu nutzen, ist der schwere Teil — und jenseits eines Punktes arbeitet mehr gegen Sie.

Das passt zu zwei Dingen, die wir bereits gesehen haben: Modelle lesen die Mitte eines langen Kontexts zu wenig, und langer Kontext tauscht Kosten gegen Qualität. Mehr abgerufenen Text aufzuhäufen drückt mehr vom relevanten Signal in diese zu wenig gelesene Mitte und zahlt für jedes zusätzliche Token.

Was das für Sie bedeutet

Die praktische Regel lautet Präzision vor Volumen. Ein paar hochrelevante, gut platzierte Passagen schlagen einen riesigen Haufen lose verwandten Textes — und kosten weniger. Wenn die Antwortqualität Ihres Systems stagniert, ist die Lösung meist bessere Auswahl, nicht mehr abgerufener Kontext.

Wo FocusLM ins Spiel kommt

FocusLM ist auf Präzision gebaut. Weil Ihr Material als strukturiertes Gedächtnis abgelegt wird statt als flacher Haufen, kann das System die wenigen Passagen hervorbringen, die tatsächlich für Ihre Frage von Belang sind — mit Quellenangaben — statt das Modell mit allem zu überfluten und zu hoffen. Es ist dieselbe Lehre, die der Benchmark lehrt, in das Produkt eingebaut: der richtige Kontext, nicht der meiste Kontext.

Sources