Was, wenn ein LLM Speicher wie ein Betriebssystem verwaltete?

Das Kontextfenster eines Modells ist ein kleiner, fester Schreibtisch. Betriebssysteme haben „mehr Daten, als in den Speicher passen“ vor Jahrzehnten gelöst — was also passiert, wenn man einem LLM denselben Trick gibt?

TL;DR

MemGPT behandelt das Kontextfenster wie RAM und fügt einen größeren externen Speicher wie eine Festplatte hinzu.
Das Modell selbst entscheidet, was ein- und ausgelagert wird, sodass es über die Grenze des Fensters hinaus arbeiten kann.
Die Lehre lässt sich verallgemeinern: verwalteter, gestufter Speicher schlägt einen einzigen flachen, immer weiter wachsenden Prompt.

Das Problem des festen Schreibtischs

Jedes Modell hat eine harte Kontextgrenze. Lange Gespräche, große Dokumente und angesammelte Historie laufen irgendwann über, und sobald etwas aus dem Fenster fällt, verhält sich das Modell, als hätte es nie existiert. Das Fenster zu vergrößern schiebt die Wand nur weiter hinaus — und, wie die Arbeit „Lost in the Middle“ zeigt, wird ein größeres Fenster ohnehin nicht gleichmäßig gelesen.

Was die Forschung zeigt

In MemGPT: Towards LLMs as Operating Systems borgen sich Forschende der UC Berkeley die älteste Idee im Systemdesign: eine Speicherhierarchie. In einem Betriebssystem wird schnelles, aber kleines RAM von langsamer, aber großer Festplatte gestützt, und das Betriebssystem lagert Daten zwischen ihnen aus und ein, sodass ein Programm mehr Speicher adressieren kann, als physisch hineinpasst. MemGPT gibt einem LLM dieselben zwei Ebenen — einen kleinen Hauptkontext im Fenster und einen großen externen Kontext außerhalb davon — und lässt das Modell die Grenze über Funktionsaufrufe selbst verwalten.

Konkret ist jede Ebene unterteilt. Der Hauptkontext enthält die festen Systemanweisungen, einen Arbeitskontext als Notizblock für Fakten, die der Agent im Blick behalten will, und eine FIFO-Warteschlange jüngster Nachrichten. Der externe Kontext teilt sich in Recall-Speicher — das vollständige Ereignisprotokoll vergangener Gespräche — und Archivspeicher, einen durchsuchbaren Langzeitspeicher für beliebigen Text. Das Modell liest und schreibt über diese Grenze hinweg, indem es Funktionsaufrufe ausgibt, die über einen „Heartbeat“ verkettet werden, sodass eine Aktion die nächste auslösen kann.

Der Auslöser ist ein geborgtes Betriebssystem-Konzept: ein Interrupt. Wenn sich das Fenster seiner Grenze nähert, wird eine Warnung wegen Speicherdrucks ausgelöst, und das Modell verdrängt die ältesten Nachrichten in den Recall-Speicher oder fasst sie zusammen, bevor es fortfährt — derselbe Zug „auslagern, wenn das RAM voll ist“, den ein Betriebssystem macht, hier aber vom Modell entschieden.

Eine zweistufige Hierarchie: Das Modell hält eine Arbeitsmenge im Fenster und lagert den Rest nach Bedarf in den externen Speicher aus und wieder ein (Packer et al., 2023).

Statt zu versuchen, alles auf einmal auf den Schreibtisch zu bekommen, lernt das Modell zu holen, was es braucht, und zurückzulegen, was es nicht braucht.

Der entscheidende Schritt ist, dass das Modell aktiv an seiner eigenen Speicherverwaltung mitwirkt — es entscheidet, was gespeichert, abgerufen und verdrängt wird, statt dass ein festes Fenster stillschweigend die ältesten Tokens abschneidet.

Die Autoren testeten dies an den beiden Arbeitslasten, die ein festes Fenster sprengen. Beim Multi-Session-Chat musste ein Agent Fakten erinnern und darauf aufbauen, die ein Nutzer in früheren Sitzungen erwähnt hatte — sie aus dem externen Speicher abrufen, statt sie zu verlieren, wenn sie aus dem Fenster scrollten. Bei der Dokumentenanalyse beantwortete MemGPT Fragen über Dokumente, die weit länger waren als der Kontext des zugrunde liegenden Modells, indem es relevante Abschnitte bei Bedarf einlagerte, einschließlich verschachtelter Retrieval-Aufgaben, die einen einzelnen Durchgang aushebeln sollten. In beiden Fällen ließ das gestufte Design ein kleines Fenster wie ein viel größeres wirken.

Was das für Sie bedeutet

Die praktische Erkenntnis lautet nicht speziell „Nutzen Sie MemGPT“ — es ist das Prinzip dahinter. Ein nützlicher Assistent braucht ein Gedächtnis, das er wachsen lassen, organisieren und selektiv abrufen kann, keinen einzelnen Prompt, den man immer wieder neu einfügt und der stillschweigend seinen eigenen Anfang vergisst. Die Frage verschiebt sich von „Wie groß ist das Fenster?“ zu „Wie gut ist die Speicherverwaltung?“

Wo FocusLM ins Spiel kommt

FocusLM ist genau auf diesem Prinzip gebaut. Ihr Material lebt in einem dauerhaften, strukturierten Gedächtnis außerhalb eines einzelnen Gesprächs; jedes Mal, wenn Sie etwas fragen, werden die relevanten Teile in den Kontext geholt und mit Quellen belegt, und alles andere bleibt abgelegt und aus dem Weg. Es ist die Idee der Speicherhierarchie, angewendet auf Ihren realen, wachsenden Wissensbestand — nicht nur auf eine einzelne Chatsitzung.

Sources