Double Espresso: Was ist ein Token?

Was ist ein Token, und warum ist es kein Wort?

Wer sich mit Sprachmodellen beschäftigt, stolpert früher oder später über ein Wort, das eigentlich nie erklärt wird: Token. Es steht im Datenblatt, wenn ein Anbieter mit einem Kontextfenster von zweihunderttausend Tokens wirbt. Es steht in der Preisliste, wo die Kosten für eine Million Tokens ausgewiesen werden. Und es steht in der Fehlermeldung, wenn ein Text angeblich zu lang ist. Der Begriff kommt aus dem Englischen, hat sich international durchgesetzt und wird auch im Deutschen unübersetzt benutzt. Also klären wir ihn.

Ein Token ist eine Einheit, in die ein Modell Text zerlegt, bevor es überhaupt anfängt zu rechnen. Das Programm, das diese Zerlegung erledigt, heißt Tokenizer, und es tut zwei Dinge. Es zerschneidet den Text in Stücke, und es ersetzt jedes Stück durch eine Nummer aus einem festen Verzeichnis. Ein Modell bekommt also nie eine Seite Text in dem Sinne zu sehen, in dem ein Mensch sie liest. Es bekommt eine Folge von Kennziffern.

Und damit zur ersten Überraschung: Ein Token ist kein Wort. Es kann eines sein, gerade bei kurzen, häufigen Wörtern. Genauso gut kann es aber ein Wortteil sein, ein Satzzeichen, ein Leerzeichen oder bei ungewöhnlichen Zeichen eine kleine Folge von Bytes. Dahinter steckt eine schlichte Sparsamkeit: Was oft vorkommt, bekommt ein eigenes, kompaktes Stück. Was selten vorkommt, wird aus mehreren wiederverwendbaren Bausteinen zusammengesetzt.

Nehmen wir eine Bestellung, wie sie an jeder Theke fällt: einen doppelten Espresso, bitte. Alltägliche kleine Wörter wie einen oder bitte sind für einen Tokenizer billige Ware. Und jetzt ein Wort, wie es eigentlich nur das Deutsche baut: Kaffeevollautomat. Für uns ist das ein Wort, ein Begriff, eine Sache. Für einen Tokenizer sind es vermutlich mehrere Stücke, womöglich entlang der Bausteine Kaffee, voll und Automat, womöglich aber auch ganz anders geschnitten. Genau das ist der Punkt: Wie zerlegt wird, ist keine Eigenschaft der deutschen Sprache, sondern eine Eigenschaft des jeweiligen Tokenizers. Wer die tatsächliche Aufteilung wissen will, muss sie mit genau diesem Tokenizer ausprobieren. Alles andere ist geraten.

Fürs Deutsche hat das eine spürbare Folge. Lange Komposita, Umlaute und viele Beugungsformen zerfallen bei manchen Tokenizern in mehr Stücke als eine entsprechende englische Formulierung. Derselbe Inhalt kann in verschiedenen Sprachen also unterschiedlich viele Tokens beanspruchen. Das hängt vom jeweiligen Vokabular ab und ist kein allgemeines Qualitätsurteil über eine Sprache.

Gehen wir den Weg einmal komplett ab, an einer kurzen Frage: Erklär mir, was ein Espresso ist.

Erstens zerlegt der Tokenizer diesen Satz in Tokens und ersetzt jedes durch seine Kennziffer. Zweitens wird im Modell aus jeder Kennziffer eine numerische Darstellung, und mit diesen Zahlen wird gerechnet, nicht mit Buchstaben. Drittens bewertet das Modell, welches Token als Nächstes plausibel wäre. Es vergibt Bewertungen für viele Kandidaten, nach einem festgelegten Auswahlverfahren wird einer davon genommen, an die bisherige Folge angehängt, und dann beginnt genau dieselbe Runde von vorn. Ein Token nach dem anderen, immer auf Basis von allem, was schon dasteht. Und viertens setzt der Tokenizer die wachsende Folge wieder in lesbaren Text zurück. Nur diesen Text bekommt man zu sehen. Wenn eine Anwendung die Antwort Stück für Stück anzeigt, sieht man indirekt den Rhythmus dieses Vorgangs.

Warum das im Alltag zählt: weil in Tokens gemessen wird, was ein Modell überhaupt aufnehmen kann. In das Kontextfenster geht alles hinein, die Frage, die Systemanweisung, der bisherige Gesprächsverlauf, hochgeladene Dokumente, herausgesuchte Textstellen, und die erzeugte Antwort zählt ebenfalls mit. Das Fenster ist damit ein Budget, kein Gedächtnis. Und weil die Rechenarbeit von der Zahl der Tokens abhängt, rechnen viele Dienste in Tokens ab und messen die Ausgabe in Tokens pro Sekunde. Wer wissen will, ob ein langes Dokument hineinpasst oder was eine Auswertung kostet, muss in dieser Einheit rechnen.

Damit zu den Missverständnissen, die sich hartnäckig halten.

Erstens: Ein Token ist eben kein Wort, keine Silbe und kein Buchstabe. Wer so umrechnet, liegt bei ungewöhnlichem Text schnell daneben.

Zweitens: Eine Tokengrenze lässt sich nicht in eine feste, für alle geltende Seitenzahl übersetzen. Grobe Faustregeln funktionieren bei glattem Fließtext einigermaßen und brechen bei Programmcode, langen Zahlenkolonnen, Tabellen oder einem Wechsel der Sprache schnell zusammen.

Drittens: Zwei Modelle können denselben Text unterschiedlich zählen. Vokabular und Schnittregeln gehören zum Tokenizer, nicht zur Sprache. Eine Zahl von einem Anbieter ist bei einem anderen nicht automatisch gültig.

Und viertens, das Wichtigste: Tokenisierung ist die Schnittstelle zwischen Text und Modell, mehr nicht. Dass ein Text sauber zerlegt wurde, sagt nichts darüber, ob das Modell ihn inhaltlich gut versteht. Verstehen und Zerlegen sind zwei verschiedene Fragen.

Wer sich einen Satz mitnehmen möchte, nimmt diesen: Ein Token ist nicht das Wort, das man schreibt, sondern das Stück, in das der Text zerfällt, sobald die Maschine ihn anfasst.