Sobald ein Modell eine Million Tokens in einem einzigen Prompt lesen kann, ist es verlockend, Retrieval für tot zu erklären: Gib ihm einfach alles. Eine sorgfältige Studie sagt, die Antwort ist interessanter als das.
TL;DR
- Mit genügend Ressourcen schlägt es das Retrieval bei der Antwortqualität in der Regel, einem Long-Context-Modell das ganze Dokument zu geben.
- Retrieval (RAG) ist drastisch günstiger, weil es weit weniger Tokens sendet.
- Ein einfacher Router, der leichte Fragen an RAG und schwere an langen Kontext schickt, holt das meiste der Qualität zu einem Bruchteil der Kosten zurück.
Zwei Wege, einem Modell Kontext zu geben
Es gibt zwei grobe Strategien, um eine Antwort in Ihrem Material zu verankern. Retrieval-Augmented Generation (RAG) durchsucht Ihre Daten, zieht die wenigen relevantesten Abschnitte heraus und legt nur diese in den Prompt. Langer Kontext überspringt das Retrieval und legt das gesamte Dokument (oder viele Dokumente) direkt ins Fenster. Als die Fenster über hunderttausend Tokens hinauswuchsen, begannen die Leute zu fragen, ob sich der Aufwand für RAG noch lohnt.
Was die Forschung zeigt
In Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach ließen Forschende bei Google DeepMind die beiden Ansätze direkt gegeneinander antreten — auf den drei stärksten damals verfügbaren Long-Context-Modellen: Gemini-1.5-Pro, GPT-4o und GPT-3.5-Turbo — über eine Reihe von Long-Document-QA-Datensätzen aus etablierten Benchmarks. Für jede Frage verglichen sie zwei Setups: dem Modell das ganze Dokument zu geben (langer Kontext) gegenüber dem Abruf der Top-k-Abschnitte und nur deren Einspeisung (RAG).
Ihr zentrales Ergebnis: Wenn das Modell stark ist und Sie es sich leisten können, ihm alles zu geben, erzeugt langer Kontext im Schnitt durchweg bessere Antworten als RAG. Retrieval lässt manchmal genau den Abschnitt fallen, der die Antwort enthielt; das vollständige Dokument ins Fenster zu legen, beseitigt diesen Fehlermodus. Doch die beiden Ansätze waren auch hoch korreliert — bei der großen Mehrheit der Fragen lieferten sie dieselbe Antwort, eine Tatsache, die die Autoren später ausnutzen sollten.
RAG hingegen sendet nur eine Handvoll abgerufener Passagen und ist damit pro Anfrage weit günstiger. Die Studie fasst dies als echten Kompromiss auf, nicht als Sieger: Langer Kontext kauft Qualität, RAG kauft Effizienz.
Der Hybrid: routen, nicht wählen
Diese Korrelation ist die Öffnung. Die Autoren schlagen Self-Route vor, eine zweistufige Pipeline, die das Modell selbst pro Anfrage entscheiden lässt, welchen Weg es nimmt:
- Erst RAG, mit einer Notluke. Gib dem Modell die abgerufenen Abschnitte und bitte es, entweder zu antworten oder die Frage aus dem Gezeigten für „unbeantwortbar“ zu erklären — kein Raten.
- Nur das Unbeantwortbare eskalieren. Fragen, die das Modell als unbeantwortbar markiert, werden mit dem vollständigen Dokument im Fenster erneut ausgeführt; alles andere behält die günstige RAG-Antwort.
Weil RAG und langer Kontext bei den meisten Fragen ohnehin übereinstimmen, erreicht nur eine Minderheit je den teuren Pfad. Das Ergebnis ist eine Antwortqualität nahe an durchgängig langem Kontext zu Kosten nahe an durchgängigem RAG.
Die richtige Frage lautet selten „RAG oder langer Kontext?“ — sondern „welchen von beiden braucht genau diese Anfrage?“
Was das für Sie bedeutet
Zweierlei folgt daraus für jeden, der auf einem LLM aufbaut. Erstens macht ein größeres Kontextfenster Retrieval nicht sinnlos — es ändert, wann Sie darauf zurückgreifen. Zweitens ist die kluge Voreinstellung nicht „immer alles hineinkippen“, sondern „das Material organisiert zu halten, damit das System die richtige Scheibe herausziehen kann, und nur dann für das Ganze zu zahlen, wenn eine Frage es wirklich braucht.“
Wo FocusLM ins Spiel kommt
FocusLM bewahrt Ihr Material als strukturiertes Gedächtnis auf statt als einen einzigen, immer weiter wachsenden Prompt. Genau diese Struktur macht den günstigen Pfad möglich: Die meisten Fragen werden aus den wenigen relevanten, mit Quellen belegten Dateien beantwortet, und der breitere Kontext ist da, wenn eine Frage ihn wirklich braucht — dieselbe Logik des Routens statt Wählens, angewendet auf ein Gedächtnis, das mit Ihnen wächst.