Coffee & Cake: Tokens, Kontext und Erinnerung

Warum ein Chat manchmal vergisst

Nina sitzt seit einer Stunde an einem Angebotstext. Der Assistent hat früh verstanden, dass sie knappe Antworten mag, und hält sich seitdem daran. Kurz vor Schluss taucht dann plötzlich wieder die lockere Anrede auf, die sie ganz am Anfang ausdrücklich ausgeschlossen hatte. Nichts stürzt ab, nichts ist kaputt. Es fühlt sich nur an, als wäre das Gegenüber im Lauf des Gesprächs ein bisschen dümmer geworden.

Ist es nicht. Dahinter stecken drei Dinge, die im Alltag ständig durcheinandergeraten, obwohl sie völlig verschieden sind. Tokens sind die Einheiten, in denen Text gemessen wird. Der Kontext ist das, was für diese eine Anfrage gerade auf der Arbeitsfläche liegt. Und Erinnerung ist Material, das woanders lagert und das ein Produkt bei Bedarf wieder hervorholen kann. Wer diese drei Ebenen auseinanderhält, kann fast jedes seltsame Verhalten eines Chatbots plötzlich erklären.

Fangen wir bei den Tokens an. Bevor ein Sprachmodell überhaupt etwas verarbeitet, wird der Text in kleine Stücke zerlegt. Diese Stücke sind keine Wörter und keine Buchstaben, sondern etwas dazwischen. Ein häufiges kurzes Wort ist oft ein einziges Stück. Ein langes Kompositum wie Kündigungsfristenregelung zerfällt in mehrere. Namen, Zahlen und Sonderzeichen verhalten sich wieder anders. Entscheidend ist, dass verschiedene Systeme unterschiedlich zerlegen. Derselbe Absatz kann bei einem Anbieter deutlich mehr Stücke ergeben als beim anderen, und deutscher Text kann mehr davon brauchen als der gleiche Inhalt auf Englisch. Deshalb ist jede Umrechnung von Tokens in Buchseiten nur eine grobe Faustregel. Wenn irgendwo steht, ein System verkrafte eine Million Tokens, dann ist das keine feste Seitenzahl, sondern eine Kapazität, die je nach Sprache und Textsorte ganz unterschiedlich weit reicht.

Diese Kapazität ist das Kontextfenster. Man kann es sich als endlichen Tresen vorstellen, auf dem alles Platz finden muss, was für diese eine Anfrage gebraucht wird. Und da liegt mehr, als die meisten vermuten. Die Grundanweisungen des Produkts liegen darauf. Der bisherige Gesprächsverlauf, soweit er mitgeschickt wird. Dokumente, die jemand angehängt hat. Ergebnisse von Werkzeugen, etwa aus einer Suche. Die neue Frage. Und schließlich die Antwort selbst, denn auch der erzeugte Text belegt Platz. Bei manchen Modellen zählt zusätzlich das interne Nachdenken mit, das gar nicht auf dem Bildschirm erscheint. Der Tresen ist also selten so leer, wie er aussieht.

Jetzt kommt der Punkt, der am meisten überrascht. Eine einfache Anfrage an ein Sprachmodell ist zustandslos. Das Modell hat kein laufendes Gedächtnis, in dem das Gespräch von selbst weiterlebt. Ein Chat entsteht dadurch, dass frühere Nachrichten bei jeder neuen Runde wieder mitgeschickt werden, oder dadurch, dass ein Dienst diesen Gesprächszustand für uns verwaltet. Kontinuität ist keine Eigenschaft des Modells, sondern eine Leistung des Produkts drumherum. Ein Chat wird zusammengesetzt, nicht auf magische Weise erinnert.

Sehen wir uns an, was passiert, wenn Nina tippt. Ihre Anfrage lautet sinngemäß, sie möchte wissen, welche Kündigungsfrist im Rahmenvertrag mit einem bestimmten Kunden steht, und dazu eine kurze Mail. In dem Moment, in dem sie abschickt, stellt das Produkt ein Paket zusammen. Es nimmt seine eigenen Grundanweisungen. Es nimmt gespeicherte Notizen über Nina, etwa dass sie im Einkauf arbeitet und förmlich schreibt. Es wählt aus dem bisherigen Gespräch die Teile aus, die noch mitkommen sollen. Parallel durchsucht es das angebundene Vertragsarchiv, findet zwei passende Absätze und legt sie ebenfalls dazu. Dazu kommt Ninas Frage selbst. Erst dann wird dieses ganze Paket in Tokens zerlegt, gezählt und an das Modell übergeben, das daraufhin die Antwort Stück für Stück erzeugt. Ein einziger Tastendruck, und im Hintergrund werden fünf verschiedene Quellen auf denselben Tresen gelegt.

Das Nachschlagen im Archiv ist gezieltes Abrufen. Der englische Fachbegriff dafür lautet Retrieval. Das System sucht in einer eigenen Sammlung, wählt die relevanten Stellen aus und hängt sie an die Frage an. Wichtig ist, was dabei nicht passiert. Das Modell lernt den Vertrag nicht. Es arbeitet in diesem einen Durchgang mit dem Text, der ihm vorgelegt wurde, und danach ist der Vertrag wieder weg. Fragt Nina nächste Woche erneut, muss das System erneut suchen. Das ist Nachschlagen, nicht Auswendiglernen.

Die Produkterinnerung funktioniert ähnlich und wird trotzdem oft mit dem Modell selbst verwechselt. Ein Produkt kann ausgewählte Fakten, Zusammenfassungen oder ganze frühere Unterhaltungen speichern, außerhalb der eigentlichen Modellanfrage, wie in einem beschrifteten Notizbuch. Später fügt es passende Einträge wieder in eine neue Anfrage ein. Wie das genau geschieht, unterscheidet sich stark. Manche Produkte zeigen gespeicherte Notizen an und lassen sie löschen, andere arbeiten still im Hintergrund, wieder andere speichern gar nichts. Was in allen Fällen gleich bleibt, ist das Folgende. Wenn ein Assistent sich etwas merkt, wurde eine Notiz abgelegt und später wieder eingefügt. Die trainierten Parameter des Modells bleiben davon in aller Regel unberührt. Etwas einmal gesagt zu haben, bedeutet nicht, dass das Modell es gelernt hat.

Damit lässt sich auch Ninas verschwundene Anweisung erklären. Ihre Vorgabe zur Anrede stand ganz am Anfang, mitten in einem langen Gespräch. Sie wurde nirgends dauerhaft gespeichert, sie war einfach eine frühe Nachricht. Weil der Platz begrenzt ist und alles daraus schöpft, kürzen, verdichten oder ersetzen Produkte ältere Teile eines Gesprächs, je länger es wird. Irgendwann fiel dieser Satz aus der Auswahl. Das Modell hat ihn nicht ignoriert, es hat ihn in diesem Durchgang schlicht nie gesehen.

Genau hier steckt die hartnäckigste Verwechslung. Ein großes Kontextfenster ist kein Langzeitgedächtnis. Das eine ist eine Obergrenze pro Anfrage, das andere eine Funktion zum Speichern und Wiederfinden über Anfragen hinweg. Ein riesiger Tresen hilft nicht, wenn niemand das richtige Blatt darauflegt. Und mehr Kontext ist auch nicht automatisch besser. Die zwei richtigen Vertragsabsätze führen zu einer präziseren Antwort als das komplette Archiv, denn in einer Materialschlacht kann das Entscheidende untergehen. Relevant und geordnet schlägt viel.

Eine letzte Technik sorgt regelmäßig für Missverständnisse. Der englische Fachbegriff lautet Caching. Dabei wird ein immer gleicher Anfang einer Anfrage nicht jedes Mal neu berechnet. Das spart Rechenzeit und oft auch Geld, und Antworten kommen schneller. Aber die zwischengespeicherten Stücke belegen weiterhin ihren Platz im Kontextfenster, und gelernt wird dabei nichts. Das Zwischenspeichern verändert die Arbeit, nicht das Gedächtnis.

Am deutlichsten wird das alles, wenn drei Produkte dasselbe Modell verwenden und sich trotzdem völlig verschieden anfühlen. Das erste schickt nur die letzten Nachrichten mit. Es antwortet flott und wirkt dabei vergesslich. Das zweite fasst ältere Abschnitte laufend zusammen. Es behält den roten Faden über Stunden, verliert aber gern die genaue Formulierung, auf die jemand bestanden hat. Das dritte legt ausgewählte Fakten dauerhaft ab und durchsucht zusätzlich eigene Dokumente. Es wirkt aufmerksam und gut informiert, holt aber manchmal eine veraltete Notiz zurück und verteidigt sie hartnäckig. Gleicher Motor, drei verschiedene Erlebnisse. Der Unterschied liegt nicht in der Intelligenz, sondern in der Verwaltung des Kontexts.

Wenn ein Assistent das nächste Mal etwas vergisst, lohnt sich deshalb eine kleine Diagnose in drei Schritten. Wurde die Information überhaupt irgendwo gespeichert, oder wurde sie nur einmal beiläufig gesagt? Falls sie gespeichert wurde, hat das Produkt sie für diese Anfrage ausgewählt? Und falls ja, hat sie neben allem anderen noch in die Kapazität gepasst? Oft liegt die Antwort in einem dieser drei Schritte, und praktisch folgt daraus dasselbe. Wichtige Vorgaben lieber noch einmal direkt vor der eigentlichen Aufgabe wiederholen. Für ein neues Thema ein neues Gespräch beginnen. Und das entscheidende Dokument lieber gezielt mitgeben, statt zu hoffen, dass es noch irgendwo herumliegt.

Nicht die Größe der Arbeitsfläche entscheidet über eine gute Antwort, sondern das, was in diesem Moment darauf liegt.