KI-Gedächtnis, erklärt
Was ist KI-Gedächtnis — und warum reicht ein größeres Kontextfenster nicht?
„KI-Gedächtnis“ ist die Fähigkeit eines Assistenten, über die Zeit zu behalten, was dir wichtig ist — deine Dokumente, Entscheidungen und deine Geschichte — und beim Fragen das richtige Stück zurückzuholen. Die naive Variante ist, alles in einen langen Prompt zu kippen. Die Forschung zeigt: das versagt leise. Hier ist das bessere Modell.
Das Kontextfenster ist kein Gedächtnis
Das Kontextfenster eines Modells ist sein kurzfristiger Arbeitsplatz. Es ist begrenzt, und sobald etwas herausrutscht, verhält sich das Modell, als hätte es das nie gegeben. Ein größeres Fenster hilft ein wenig, macht aus kurzfristigem Kontext aber kein dauerhaftes Gedächtnis — und bringt eigene Probleme mit.
- Modelle lesen die Mitte eines langen Kontexts schlechter, dort vergrabene Information geht deshalb oft unter.
- Mehr Text draufzupacken hört auf zu helfen — und schadet bei vielen Modellen —, lange bevor das Fenster voll ist.
- Langer Kontext ist teuer: du bezahlst bei jeder einzelnen Anfrage die erneute Verarbeitung von allem.
Echtes Gedächtnis ist strukturiert und verwaltet
Die Alternative, entliehen aus Jahrzehnten Systemdesign, ist eine Speicherhierarchie: ein kleines Arbeitsset im Fenster, ein großer, geordneter Speicher außerhalb — und die passenden Stücke werden bei Bedarf hervorgeholt. Der Wert liegt nicht darin, wie viel in einen Prompt passt, sondern darin, wie gut der richtige Ausschnitt ausgewählt wird. Struktur, nicht Volumen, lässt Gedächtnis funktionieren.
Genau das baut FocusLM: ein Agent interviewt dich, um das Problem zu verstehen, entwirft eine Ordner-Ontologie, schreibt seine eigenen Ablageregeln und sortiert alles, was du ihm gibst, in ein strukturiertes Gedächtnis aus einsehbarem, exportierbarem Markdown. Wenn du fragst, holt er die relevanten, belegten Stellen hervor — ganz gleich, woher sie ursprünglich stammen.
Die Forschung, verständlich erklärt
Kurze, fundierte Erklärungen der Arbeiten dahinter — jede mit einem eigenen Diagramm.
KI-Gedächtnis verschlüsseln: warum ein Schlüssel pro Projekt einen pro Datenbank schlägt
Eine KI, die sich an Ihr Leben erinnert, hält Material, das Sie keinem Fremden geben würden. Wir verschlüsseln jede Gedächtnisdatei und jede Chat-Nachricht mit einem Schlüssel, der allein diesem Projekt gehört — und die Forschung erklärt, warum die naheliegenden Alternativen leaken.
Mehr Kontext ist nicht immer besser: Was jenseits von 64k Tokens passiert
Eine große Studie über mehr als 20 Modelle fand, dass es oft aufhört zu helfen — und bei vielen Modellen zu schaden beginnt —, mehr abgerufenen Text in den Prompt zu stopfen, lange bevor das Fenster voll ist. Größer ist nicht dasselbe wie besser.
Was, wenn ein LLM Speicher wie ein Betriebssystem verwaltete?
Das Kontextfenster ist klein und fest. MemGPT borgt sich eine 40 Jahre alte Idee aus den Betriebssystemen — eine Speicherhierarchie mit Paging —, damit ein Modell mit weit mehr Informationen arbeiten kann, als ins Fenster passen.
RAG oder langer Kontext: Was sollten Sie wirklich nutzen?
Wenn ein Modell eine Million Tokens lesen kann, ist Retrieval dann überflüssig? Eine Studie von Google DeepMind sagt nein — langer Kontext gewinnt bei der Qualität, wenn Sie es sich leisten können, Retrieval gewinnt bei den Kosten, und ein einfacher Router holt das meiste aus beidem heraus.
Lost in the Middle: Warum große Kontextfenster leise scheitern
LLMs nutzen den Anfang und das Ende eines langen Kontexts deutlich besser als die Mitte — ein U-förmiger Effekt, der selbst bei Modellen bestehen bleibt, die für lange Kontexte gebaut wurden. Das zeigt die Forschung, und das bedeutet es.