FocusLM Forschung
Forschungsbasierte Notizen zu KI-Gedächtnis, Kontextfenstern und dem Bau einer KI, die deine Welt wirklich kennt.
KI-Gedächtnis verschlüsseln: warum ein Schlüssel pro Projekt einen pro Datenbank schlägt
Eine KI, die sich an Ihr Leben erinnert, hält Material, das Sie keinem Fremden geben würden. Wir verschlüsseln jede Gedächtnisdatei und jede Chat-Nachricht mit einem Schlüssel, der allein diesem Projekt gehört — und die Forschung erklärt, warum die naheliegenden Alternativen leaken.
LesenMehr Kontext ist nicht immer besser: Was jenseits von 64k Tokens passiert
Eine große Studie über mehr als 20 Modelle fand, dass es oft aufhört zu helfen — und bei vielen Modellen zu schaden beginnt —, mehr abgerufenen Text in den Prompt zu stopfen, lange bevor das Fenster voll ist. Größer ist nicht dasselbe wie besser.
LesenWas, wenn ein LLM Speicher wie ein Betriebssystem verwaltete?
Das Kontextfenster ist klein und fest. MemGPT borgt sich eine 40 Jahre alte Idee aus den Betriebssystemen — eine Speicherhierarchie mit Paging —, damit ein Modell mit weit mehr Informationen arbeiten kann, als ins Fenster passen.
LesenRAG oder langer Kontext: Was sollten Sie wirklich nutzen?
Wenn ein Modell eine Million Tokens lesen kann, ist Retrieval dann überflüssig? Eine Studie von Google DeepMind sagt nein — langer Kontext gewinnt bei der Qualität, wenn Sie es sich leisten können, Retrieval gewinnt bei den Kosten, und ein einfacher Router holt das meiste aus beidem heraus.
LesenLost in the Middle: Warum große Kontextfenster leise scheitern
LLMs nutzen den Anfang und das Ende eines langen Kontexts deutlich besser als die Mitte — ein U-förmiger Effekt, der selbst bei Modellen bestehen bleibt, die für lange Kontexte gebaut wurden. Das zeigt die Forschung, und das bedeutet es.
Lesen