Sunday Latte: Wie lernt ein Sprachmodell?

Der unvollendete Satz

Auf dem Bildschirm steht ein Satz, dem nur noch das letzte Stück fehlt: Die Bäckerin schiebt das Brot in den ...

Für uns liegt die Fortsetzung nahe. Wahrscheinlich kommt jetzt das Wort Ofen. Wir kennen Küchen, Brot und die übliche Form solcher Sätze. Wir haben eine Vorstellung davon, was in der beschriebenen Welt geschieht.

Ein Sprachmodell beginnt nicht mit dieser Vorstellung. Vor dem Training bestehen seine Verbindungen aus Zahlen, die noch keine brauchbare Ordnung tragen. Bei unserem Satz könnte es ganz unterschiedliche Fortsetzungen ähnlich wahrscheinlich finden. Erst nach sehr vielen Trainingsschritten setzt es Ofen weit nach oben auf seine Liste.

Genau darin steckt das Rätsel dieser Folge. Das Modell bekommt keine Unterrichtsstunde über Bäckereien. Niemand erklärt ihm zuerst Grammatik, danach Küchengeräte und schließlich das Backen. Stattdessen löst es immer wieder eine scheinbar schlichte Aufgabe: Welcher Textbaustein kommt als Nächstes?

Wie wird aus dieser Aufgabe eine dauerhafte Veränderung im Modell? Warum braucht man dafür so viele Texte und so viel Rechenleistung? Und was kommt nach dem Vortraining, bevor aus einem Textfortsetzer ein hilfreicher Assistent wird?

Wir verfolgen den Weg von einem einzigen unvollendeten Satz bis zum fertigen System. Am Ende können wir auch sauber trennen, was ein Modell in seinen Gewichten trägt, was es nur im aktuellen Gespräch sieht und was ein anderes System für die Antwort nachschlägt.

Was Lernen hier bedeutet

Zuerst müssen wir den Begriff eingrenzen. Nicht jedes Sprachmodell arbeitet gleich. Hier geht es um autoregressive Sprachmodelle, also um die Familie, die modernen Textgeneratoren zugrunde liegt. Autoregressiv bedeutet: Das Modell erzeugt eine Folge Schritt für Schritt und stützt jeden neuen Schritt auf das, was davor steht.

Dabei verarbeitet es Text nicht direkt als Wörter. Ein sogenannter Tokenizer zerlegt ihn in Tokens. Diese Textbausteine können ein kurzes Wort, einen Teil eines längeren Wortes oder ein Satzzeichen darstellen. Selbst Ofen kann je nach System ein einziges Token sein oder aus mehreren bestehen. Das Modell sieht also eine Folge nummerierter Textstücke.

Im Vortraining bekommt es einen Abschnitt und soll an jeder geeigneten Stelle das jeweils nächste Token vorhersagen. Aus dem Anfang „Die Bäckerin schiebt“ wird die Frage nach dem nächsten Stück. Aus „Die Bäckerin schiebt das“ entsteht die nächste Frage. Der Text liefert die richtigen Fortsetzungen bereits mit. Menschen müssen nicht für jede Stelle ein Etikett anbringen. Deshalb nennt man dieses Verfahren oft selbstüberwachtes Lernen.

Mit Lernen meinen wir hier etwas sehr Konkretes: Die Vorhersagen erzeugen ein Fehlersignal, und dieses Signal führt zu bleibenden Änderungen an den Parametern des Modells. Parameter sind die einstellbaren Zahlen in seinem neuronalen Netz. Nach einem Trainingsschritt sind einige davon ein wenig anders als vorher. Nach sehr vielen Schritten verhält sich das Modell messbar anders.

Das ist eine technische Bedeutung von Lernen. Sie sagt nicht, ob das Modell so versteht, erlebt oder erinnert wie ein Mensch. Trainingsdaten verändern das System so, dass es seine Aufgabe später besser löst.

Eine Vorhersage und ihr Fehler

Kehren wir zum Brot zurück. Das Modell bekommt den Satzanfang und berechnet nicht einfach ein einziges Wort. Es verteilt Wahrscheinlichkeiten über alle Tokens, die als Nächstes kommen könnten. In einem sehr frühen Trainingszustand gibt es dem passenden Token vielleicht nur zwei Prozent. Ein unpassendes Token erhält vielleicht fünf Prozent, ein anderes vier. Die Zahlen sind schlecht geordnet.

Der Trainingsdatensatz verrät, welches Token in diesem Beispiel tatsächlich folgt. Nun braucht das Verfahren ein Maß dafür, wie schlecht die Vorhersage war. Dieses Maß heißt Verlustfunktion, auf Englisch Loss. Je weniger Wahrscheinlichkeit das Modell dem beobachteten nächsten Token gegeben hat, desto größer fällt der Verlust aus. Hätte es Ofen sehr wahrscheinlich gemacht, wäre der Verlust kleiner. Das ist noch keine Strafe im menschlichen Sinn. Es ist eine Zahl, mit der sich die Richtung einer Verbesserung berechnen lässt.

In wirklichen Trainingsläufen wird nicht nach jedem einzelnen Satz sofort ein isolierter Lernschritt ausgeführt. Viele Textabschnitte und viele Positionen werden zu einem Stapel zusammengefasst, einem sogenannten Batch. Der Verlust fasst die Vorhersagefehler dieses Stapels zusammen. Ein Beispiel trägt also zu einer gemeinsamen Korrektur bei. Es wird nicht als einzelner Eintrag mit einem eigenen Platz im Modell abgelegt.

Hier zeigt sich bereits eine entscheidende Grenze. Die Verlustfunktion fragt nicht, ob ein Satz wahr, klug oder freundlich ist. Sie fragt, wie gut das Modell den Text vorhersagt, den es im Trainingsmaterial tatsächlich vorfindet. Steht dort eine sorgfältig belegte Erklärung, liefert sie ein Trainingssignal. Steht dort ein Irrtum, eine Beleidigung oder eine überzeugend formulierte Lüge, entsteht ebenfalls ein ganz normales Vorhersageziel.

Das bedeutet nicht, dass Wahrheit für ein Sprachmodell unerreichbar wäre. In guten Daten kommen viele beständige Zusammenhänge immer wieder vor, und ein Modell kann solche Zusammenhänge erfassen. Aber sein Grundauftrag lautet im Vortraining nicht: Finde heraus, wie die Welt wirklich ist. Er lautet: Werde besser darin, die Fortsetzung dieses Textes vorherzusagen. Dieser Unterschied erklärt später, warum ein Modell flüssig, sicher und trotzdem falsch antworten kann.

Vom Fehler zu den Gewichten

Wir haben jetzt eine Zahl für den Fehler. Doch wie gelangt sie zurück in ein Netz mit sehr vielen Parametern?

Dafür wird der Rechenweg der Vorhersage gewissermaßen rückwärts ausgewertet. Das Verfahren heißt Backpropagation. Es bestimmt für jeden beteiligten Parameter, wie eine winzige Änderung den gesamten Verlust beeinflussen würde. Das Ergebnis nennt man den Gradienten. Er zeigt nicht direkt das perfekte Modell. Er zeigt eine lokale Richtung, in der der Fehler für diesen Stapel kleiner werden sollte.

Anschließend setzt ein Optimierungsverfahren diese Information in eine kleine Gewichtsänderung um. Man kann sich die Parameter für einen Moment als ein riesiges Mischpult mit sehr vielen Reglern vorstellen. Der Gradient sagt, welche Regler ein wenig nach links oder rechts bewegt werden sollten. Nach der Änderung wird der nächste Stapel verarbeitet, ein neuer Verlust berechnet und erneut nachgeregelt.

Das Bild vom Mischpult hilft, solange man seine Grenze kennt. Es gibt normalerweise keinen einzelnen Regler für Ofen, keinen für deutsche Grammatik und keinen für Paris. Eine Vorhersage entsteht aus dem Zusammenspiel vieler Teile des Netzes. Ein und derselbe Parameter kann zu zahlreichen Mustern beitragen. Umgekehrt verteilt sich der Einfluss eines einzigen Beispiels über viele Parameter und vermischt sich mit dem Einfluss anderer Beispiele.

Darum wäre der Satz falsch, das Modell speichere nach unserem Brotbeispiel einfach die Regel „Brot gehört in den Ofen“. Der Trainingsschritt verändert eine große mathematische Struktur nur geringfügig. Ähnliche Satzmuster, Texte über Backen und die Grammatik des Deutschen schieben die Gewichte teilweise in ähnliche Richtungen. Andere Beispiele ziehen aus anderen Gründen an denselben Gewichten.

Diese gemeinsame, verteilte Veränderung ist zugleich Stärke und Schwierigkeit. Das Modell kann Regelmäßigkeiten auf neue Formulierungen übertragen, die nie genau so im Datensatz standen. Aber Wissen liegt nicht ordentlich in Karteikästen. Eine spätere Änderung kann mehrere Fähigkeiten zugleich berühren, und oft lässt sich nicht einfach zeigen, wo genau ein bestimmter Zusammenhang gespeichert ist.

Der Trainingsschritt ist damit vollständig: Text hinein, Wahrscheinlichkeiten hinaus, Verlust berechnen, Einfluss zurückverfolgen, Gewichte leicht verändern. Vortraining bedeutet, diesen Kreis in gewaltigem Maßstab zu wiederholen.

Von einem Satz zum Vortraining

Ein einzelner Satz lehrt fast nichts Verlässliches. Erst die Vielfalt und die Menge der Beispiele machen aus kleinen Korrekturen eine allgemeine Fähigkeit.

In einem langen Text muss ein Modell weit mehr beachten als die unmittelbare Nachbarschaft eines Wortes. Vielleicht hat eine Figur vor drei Absätzen ein Versprechen gegeben. In Programmcode muss eine Klammer zur früher begonnenen Struktur passen. In einer Erklärung hängt die nächste Aussage vom bisherigen Argument ab. Das Vorhersageziel belohnt Regelmäßigkeiten, die bei all diesen Fortsetzungen nützlich sind.

So kann es neue Sätze bilden, Fragen beantworten oder ein unbekanntes Beispiel nach einem bekannten Muster bearbeiten. Das ist mehr als das Wiederholen ganzer Fundstellen. Übertrieben wäre jedoch die Behauptung, Vorhersage zwinge das Modell automatisch zu echtem Verständnis. Sie führt zunächst nur zu internen Strukturen, die seinen Fehler senken.

Auch die Auswahl der Texte prägt das Ergebnis. Sprachen, Fachgebiete oder Lebenswirklichkeiten, die im Datensatz selten vorkommen, bildet das Modell später womöglich schlechter ab. Widersprüche und Vorurteile verschwinden nicht in einer großen Datenmenge. Häufige Wiederholung beeinflusst den Lernprozess stark, obwohl sie kein Beweis für Richtigkeit ist.

Zudem kann ein Modell einzelne ungewöhnliche oder oft wiederholte Formulierungen tatsächlich nahezu wörtlich behalten. Forschende konnten solche Trainingspassagen unter bestimmten Bedingungen wieder aus Modellen hervorlocken. Verallgemeinerung und Auswendiglernen schließen einander also nicht aus. Ein Modell kann breite Muster lernen und zugleich manche Beispiele memorieren.

Am Ende steht ein Basismodell mit vielen sprachlichen und sachlichen Regelmäßigkeiten. Doch auf die Aufforderung „Erkläre mir das kurz und ehrlich“ reagiert es nicht zwangsläufig wie ein guter Assistent. Vielleicht setzt es nur einen Dialog fort oder liefert eine selbstsichere Antwort, obwohl Zurückhaltung angemessen wäre. Vorhersagefähigkeit und hilfreiches Verhalten sind verbunden, aber nicht dasselbe.

Größe, Daten und Rechenleistung

Wenn Vortraining aus so vielen kleinen Korrekturen besteht, liegt eine einfache Vermutung nahe: Man müsse nur alles größer machen. Tatsächlich haben Forschende über weite Bereiche regelmäßige Verbesserungen beobachtet, wenn Modelle mehr Parameter erhielten, mit mehr Daten trainiert wurden und mehr Rechenleistung nutzen konnten. Diese Zusammenhänge werden Skalierungsgesetze genannt.

Doch die drei Größen lassen sich nicht sinnvoll voneinander trennen. Ein größeres Modell besitzt mehr Kapazität für komplizierte Muster. Ohne genügend unterschiedliche Trainingsbeispiele bleibt ein Teil dieser Kapazität schlecht genutzt. Mehr Daten helfen wiederum nur, wenn genug Rechenleistung vorhanden ist, um sie zu verarbeiten. Und derselbe Rechenetat kann sehr verschieden verteilt werden.

Das zeigte ein bekanntes Experiment besonders anschaulich. Ein deutlich kleineres Modell wurde mit viel mehr Text trainiert als ein großer Vorgänger und erzielte mit einem ähnlichen Rechenaufwand bessere Ergebnisse. Die Lehre war nicht, dass kleinere Modelle grundsätzlich überlegen sind. Sie war, dass Modellgröße und Datenmenge gemeinsam wachsen müssen. Die größte Zahl auf dem Datenblatt bezeichnet nicht automatisch das beste trainierte Modell.

Auch Datenqualität bleibt wichtig. Wenn derselbe Absatz tausendfach im Material steckt, sieht das Modell nicht tausend unabhängige Belege. Solche Duplikate können Auswendiglernen fördern und sogar die Bewertung eines Modells schöner aussehen lassen, wenn ähnliche Texte zugleich im Testmaterial auftauchen. Sorgfältiges Filtern und Entdoppeln kann deshalb wertvoller sein als ein weiterer Berg ungeprüfter Texte.

Skalierung ist also kein Zauberspruch. Sie beschreibt robuste empirische Muster innerhalb beobachteter Bereiche. Sie garantiert weder unbegrenzten Fortschritt noch dieselbe Verbesserung bei jeder Fähigkeit. In der Praxis geht es immer um einen Ausgleich: genügend Kapazität, genügend geeignete Daten und genügend Rechenarbeit, damit beides zusammenwirken kann.

Wie aus dem Basismodell ein Assistent wird

Nach dem Vortraining verfügt das Modell über breit angelegte sprachliche und sachliche Muster sowie erlernte Fähigkeiten. Nun beginnt das Post-Training, also die Trainingsphase danach. Der englische Ausdruck ist im Fachgebiet üblich, aber die Idee ist einfach: Das allgemeine Basismodell wird für ein gewünschtes Verhalten weitertrainiert.

In einem möglichen Schritt sieht das Modell sorgfältig erstellte Beispiele. Auf eine Anweisung folgt eine Antwort, die zeigt, wie es reagieren soll. Wieder wird ein Verlust berechnet, und wieder verändern sich Gewichte. Nur sind die Daten jetzt weniger umfangreich, gezielter ausgewählt und näher an der späteren Nutzung.

Ein weiterer Schritt kann Präferenzen nutzen. Menschen oder andere Bewertungssysteme vergleichen mehrere Antworten und ordnen sie danach, wie hilfreich, korrekt oder sicher sie wirken. Manche Verfahren trainieren mithilfe eines eigenen Bewertungsmodells weiter, andere direkter aus solchen Vergleichen. Es gibt kein einziges Rezept, nach dem alle Assistenten entstehen.

Post-Training ist auch nicht bloß eine dünne Höflichkeitsschicht. Es kann beeinflussen, ob ein Modell einer Anweisung folgt, Unsicherheit eingesteht, seine Antwort gliedert, eine schädliche Bitte ablehnt oder bei einer Aufgabe überhaupt die passende Fähigkeit abruft. Dabei können sich Fähigkeiten verbessern, verschieben oder in bestimmten Situationen auch verschlechtern. Optimiert wird stets das Verhalten, das die gewählten Beispiele und Bewertungen belohnen.

Deshalb garantiert auch Post-Training keine Wahrheit. Bewertungen können irren, und gewünschte Eigenschaften können in Konflikt geraten. Eine knappe Antwort kann nützlich sein und doch eine Einschränkung auslassen. Jedes Trainingsziel setzt Schwerpunkte.

Die Grenze zwischen Vortraining und Post-Training ist in der Praxis nicht immer messerscharf. Modelle können mit Fachtexten weitertrainiert, mit künstlich erzeugten Beispielen ergänzt oder in mehreren Runden nachbearbeitet werden. Für unser Bild genügt die Trennung trotzdem: Vortraining baut aus großen Textmengen die breite Grundlage. Post-Training formt daraus ein System, das sich in einer Unterhaltung eher so verhält, wie Menschen es beabsichtigen.

Gewichte, Kontext und Retrieval

Wenn ein Assistent eine gute Antwort gibt, kann die entscheidende Information aus drei verschiedenen Quellen stammen. Sie kann in den trainierten Gewichten wirksam sein. Sie kann im aktuellen Kontext stehen. Oder ein umgebendes System kann sie eigens für diese Anfrage abgerufen haben.

Die Gewichte sind das Ergebnis von Vortraining und Post-Training. In ihnen stecken sprachliche Regelmäßigkeiten, Fähigkeiten und viele sachliche Zusammenhänge. Manchmal spricht man vom parametrischen Gedächtnis. Das ist keine gewöhnliche Datenbank. Das Modell kann nicht zuverlässig seine Quellen öffnen und den Ursprung einer Antwort zeigen. Manche Zusammenhänge kann es zuverlässig wiedergeben, andere nur bei passender Formulierung, wieder andere falsch oder gar nicht.

Der Kontext ist das Material für die aktuelle Berechnung: die neue Frage, frühere Nachrichten, Anweisungen und beigefügte Texte. Beispiele im Prompt können das Verhalten stark verändern. Nach wenigen Beispielen kann das Modell scheinbar eine neue Aufgabe lernen. Diese Anpassung verändert aber normalerweise nicht seine Gewichte und ist kein dauerhafter Trainingsschritt.

Die dritte Quelle ist Retrieval, also gezieltes Abrufen. Ein Suchsystem findet etwa einen aktuellen Bericht und legt ihn in den Kontext. Erst dann formuliert das Sprachmodell seine Antwort. Grob ähnelt der Unterschied einer Prüfung: Antworten allein aus den Gewichten gleichen einer Prüfung ohne Unterlagen. Retrieval entspricht einer offenen Prüfung mit passenden Dokumenten auf dem Tisch.

Auch dieses Bild hat Grenzen. Die Gewichte sind kein menschliches Gedächtnis, und ein Dokument garantiert keine richtige Antwort. Die Suche kann die falsche Passage wählen, das Modell eine richtige missverstehen. Retrieval verbessert Aktualität und Nachvollziehbarkeit, ersetzt aber keine Prüfung der Antwort.

Eine Ausnahme stört jede zu saubere Trennung: Memorierung. Ein Modell kann ungewöhnliche oder häufige Trainingspassagen nahezu wörtlich wiedergeben. Seine Gewichte werden dadurch noch nicht zum verlässlichen Archiv. Was gespeichert wurde, lässt sich weder vollständig noch mit sicherem Herkunftsnachweis abrufen.

Wenn Sie einem Chatbot heute Ihren Lieblingskaffee nennen, hat das Basismodell diese Information deshalb normalerweise nicht dauerhaft gelernt. Das Produkt kann die Nachricht im Gespräch erneut mitsenden oder als separate Erinnerung speichern. Es kann Ihre Rückmeldung später in einen neuen Trainingslauf aufnehmen. Das wären drei verschiedene Vorgänge. Nur der letzte würde die Modellgewichte zu einem späteren Zeitpunkt verändern.

Was wir mit Lernen meinen

Nun können wir zu unserem unvollendeten Satz zurückkehren. Nach dem Training erwartet das Modell bei Brot und Bäckerin mit hoher Wahrscheinlichkeit den Ofen, weil sehr viele kleine Gewichtsänderungen seine Vorhersagen geordnet haben. Keine einzelne Unterrichtsstunde hat ihm die Lösung gegeben. Viele Beispiele haben eine Struktur geformt, die auch bei neuen Formulierungen nützlich ist.

Es wäre falsch, diese Leistung als bloßes Nachschlagen abzutun. Das Modell kann kombinieren und verallgemeinern. Ebenso falsch wäre es, aus der flüssigen Fortsetzung sofort menschliches Verstehen abzuleiten. Lernen bezeichnet hier eine nachweisbare Anpassung. Ob ein solches System versteht oder Bewusstsein haben könnte, lässt sich aus der Trainingsmechanik nicht entscheiden.

Für den Alltag ist eine andere Unterscheidung hilfreicher. Wenn ein Assistent etwas weiß oder sich überraschend verhält, fragen Sie: Stammt es aus den Gewichten, also aus Vortraining oder Post-Training? Stammt es aus dem aktuellen Kontext, etwa aus meiner Frage oder einem früheren Gesprächsabschnitt? Oder wurde es durch eine Suche oder ein anderes Werkzeug gerade erst herangeholt?

Diese Fragen schützen vor zwei Irrtümern. Man überschätzt das Modell nicht als allwissendes Gegenüber, das jede Unterhaltung behält. Man unterschätzt es auch nicht als Sammlung kopierter Sätze. Es ist ein trainiertes Vorhersagesystem, weiter geformt durch Post-Training und bei jeder Antwort abhängig vom verfügbaren Kontext.

Wenn Sie nur einen Satz aus dieser Folge mitnehmen, dann diesen: Ein autoregressives Sprachmodell lernt, indem Vorhersagefehler über viele Texte hinweg seine Gewichte verändern, sodass es kommende Tokens besser vorhersagt. Was es daraus macht, hängt von den Daten, der Größe des Modells, der Rechenarbeit, dem Post-Training und den Informationen ab, die bei der aktuellen Anfrage auf seinem Tisch liegen.