Coffee & Cake: Pretraining, Fine-Tuning und Post-Training

Wie aus einem Basismodell ein Assistent wird

Kann ich meinen Flug am Dienstag umbuchen? Ein Basismodell könnte diese Frage wie den Anfang eines Reiseforums fortsetzen und eine plausible Antwort erfinden. Eine spätere Version bittet gezielt um die Buchungsnummer. Eine weitere sagt außerdem deutlich, dass sie ohne Tarifbedingungen noch keine Umbuchung bestätigen kann. Drei Modellstände, drei Verhaltensweisen. Sind das Pretraining, Fine-Tuning und Post-Training als drei getrennte Lernverfahren?

Nein. Genau diese Vorstellung sorgt für viel Verwirrung. Pretraining und Post-Training bezeichnen vor allem Abschnitte in der Entwicklung eines Modells. Fine-Tuning bezeichnet eine Methode: Ein vorhandener Modellstand wird weiter angepasst. Deshalb kann dieselbe Trainingsphase zugleich Fine-Tuning und Teil des Post-Trainings sein. Das eine sagt, wie angepasst wird. Das andere sagt, an welcher Stelle im Lebenslauf des Modells diese Arbeit stattfindet.

Beginnen wir mit dem ersten Abschnitt. Das breite Vortraining wird meist mit dem englischen Begriff Pretraining bezeichnet. Ein Sprachmodell verarbeitet dafür sehr große und vielfältige Textmengen. An unzähligen Stellen versucht es vorherzusagen, welches Textstück als Nächstes folgt. Weicht seine Vorhersage vom beobachteten Text ab, verändert das Training viele seiner numerischen Einstellungen. Diese Einstellungen nennt man Parameter oder Gewichte.

Durch die ständige Wiederholung entsteht ein Basismodell. Es hat umfangreiche Muster von Sprache aufgenommen und dabei oft überraschend breite Fähigkeiten entwickelt. Unser Basismodell kennt vermutlich Wörter wie Flughafen, Tarifklasse und Erstattung. Es hat Beschreibungen von Reisen und Kundengesprächen gesehen. Trotzdem ist es noch nicht automatisch ein verlässlicher Serviceassistent. Breites Sprachvermögen und passendes Verhalten in einem Produkt sind zwei verschiedene Dinge.

Nun wird ein gespeicherter Modellstand genommen, häufig Checkpoint genannt, und mit gezielteren Beispielen weitertrainiert. Zu einer Kundenfrage wird eine gute Antwort vorgegeben. Bei der Umbuchung soll das Modell fehlende Buchungsdaten erfragen, Grenzen klar benennen und niemals so tun, als sei der Flug bereits geändert. Viele solcher Paare aus Anweisung und gewünschter Antwort verschieben die Wahrscheinlichkeit in Richtung dieses Verhaltens.

Diese Anpassung heißt Feinabstimmung, international Fine-Tuning. Wenn zu jeder Anfrage eine gewünschte Antwort als Lernziel vorliegt, spricht man von überwachter Feinabstimmung. Sie beginnt nicht wieder bei null. Sie baut auf den Fähigkeiten des Basismodells auf und richtet sie auf bestimmte Aufgaben, Formate oder Verhaltensweisen aus.

Weil diese überwachte Feinabstimmung nach dem breiten Vortraining stattfindet, gehört sie zugleich zum Nachtraining, meist Post-Training genannt. Darin liegt die wichtige Überlappung. Fine-Tuning und Post-Training sind keine konkurrierenden Kästchen. Überwachtes Fine-Tuning kann eine Methode innerhalb des größeren Post-Trainings sein.

Post-Training ist nämlich ein Sammelbegriff, kein einzelner Algorithmus. Nach den vorgegebenen Antworten können Entwickler mehrere mögliche Antworten miteinander vergleichen lassen. Für den Flugservice wird vielleicht die Antwort bevorzugt, die Unsicherheit offen benennt, statt eine Tarifregel zu erfinden. Oder eine knappe, hilfreiche Rückfrage gewinnt gegen eine lange, pauschale Ablehnung. Solche Vergleiche liefern ein anderes Lernsignal als ein fertiger Mustertext.

Auch dieses Signal lässt sich auf verschiedene Weise nutzen. Ein Verfahren lernt zunächst aus menschlichen Rangfolgen, welche Antworten wahrscheinlich bevorzugt werden, und verbessert das Sprachmodell danach durch bestärkendes Lernen. Andere Verfahren verwenden bevorzugte und abgelehnte Antworten direkter, ohne diese zusätzliche Schleife. Wieder andere belohnen Ergebnisse, die ein Programm überprüfen kann. All das kann zum Post-Training gehören. Kein Modell muss jede dieser Stationen durchlaufen.

Bei diesen Schritten wird keine lesbare Vorschrift mit der Überschrift Sei ehrlich in einem besonderen Fach abgelegt. Das Training verändert Zahlen und damit die Wahrscheinlichkeiten künftiger Ausgaben. Eine kleine, sorgfältig ausgewählte Sammlung kann das Verhalten stark lenken, weil die breiten Fähigkeiten schon im Pretraining entstanden sind. Weniger Trainingsdaten bedeuten hier nicht automatisch eine oberflächliche Veränderung.

Fine-Tuning muss auch nicht sämtliche Gewichte des Basismodells überschreiben. Bei einer vollständigen Feinabstimmung können alle Parameter verändert werden. Sparsamere Verfahren lassen die ursprünglichen Gewichte unangetastet und lernen nur eine kleine zusätzliche Anpassung. Wird sie später gemeinsam mit dem Basismodell geladen, verhält sich das daraus entstehende Gesamtsystem trotzdem anders. Fine-Tuning beschreibt also eine Beziehung zwischen Ausgangspunkt und Anpassung, nicht einen festen Umfang des Eingriffs.

Unsere Fluggesellschaft könnte später einen bereits allgemein nachtrainierten Assistenten noch einmal an ihre eigenen Formulierungen und Prozesse anpassen. Auch das kann Fine-Tuning heißen. Der Ausgangspunkt ist diesmal kein rohes Basismodell, sondern ein Modell, das schon mehrere Schritte des Post-Trainings hinter sich hat. Der Begriff verrät daher nicht die ganze Vorgeschichte. Er sagt nur, dass von einem bestehenden Stand aus weiter angepasst wurde.

Eine interessante Grenzzone ist fortgesetztes Pretraining. Dabei nimmt man ebenfalls einen vorhandenen Modellstand, setzt aber das ursprüngliche Vorhersagetraining auf großen Mengen neuer, unbeschrifteter Fachtexte fort, etwa aus der Luftfahrt. Obwohl ein bestehender Stand angepasst wird, nennen Forschende das oft weitergeführtes Vortraining und nicht gewöhnliches Fine-Tuning für eine Aufgabe. Solche Grenzfälle zeigen, warum die tatsächlichen Daten und Lernziele wichtiger sind als ein Streit um Etiketten.

Ganz anders ist es, der aktuellen Anfrage einfach die heute gültigen Umbuchungsregeln beizulegen. Dann ändert sich die Eingabe, nicht das trainierte Modell. Dasselbe gilt, wenn das Produkt die Regel aus einem Dokument abruft und in den Kontext einfügt. Ein Beispiel im Prompt, eine Suche oder ein vom Produkt gespeicherter Kontext kann die nächste Antwort lenken. Ohne einen Trainingsschritt mit dauerhafter Parameteränderung ist das jedoch kein Fine-Tuning.

Auch eine tatsächliche Umbuchung bleibt außerhalb des Trainings. Das Modell kann durch Post-Training besser erkennen, welche Angaben fehlen oder wann eine Bestätigung unzulässig wäre. Es verschiebt aber nicht von selbst einen Sitzplatz im Buchungssystem. Dafür braucht das Produkt ein Werkzeug, passende Berechtigungen und feste Logik. Training formt die Ausgaben des Modells. Erst die umgebende Software kann aus einer zulässigen Anforderung eine Handlung machen.

Damit zerfällt eine beliebte Faustformel: Pretraining lehre Wissen, Fine-Tuning lehre eine Aufgabe und Post-Training füge gute Manieren hinzu. Pretraining entwickelt auch allgemeine Fähigkeiten. Fine-Tuning kann Aufgaben, Fachgebiete, Formate oder Präferenzen formen und selbst Teil des Post-Trainings sein. Post-Training kann beeinflussen, ob ein Modell eine Aufgabe versucht, welche Strategie es wählt und wie es mit Unsicherheit umgeht. Es ist weit mehr als eine Höflichkeitsschicht.

Keiner dieser Schritte garantiert Wahrheit. Ein Modell lernt das, was Beispiele, Vergleiche oder Belohnungen tatsächlich fördern, nicht automatisch das, was Menschen im tiefsten Sinne beabsichtigen. Musterantworten können Fehler enthalten. Menschen, die Antworten beurteilen, können sich widersprechen oder eine attraktive Abkürzung belohnen. Ein automatisch geprüftes Ziel kann so eng sein, dass das Modell den Prüfer zufriedenstellt, ohne das eigentliche Problem gut zu lösen.

Anpassung bringt außerdem Zielkonflikte mit sich. Eine gewünschte Fähigkeit kann besser werden, während eine andere leidet. Das Modell kann sich zu stark auf seine Trainingsbeispiele festlegen oder ein schlechtes Signal verstärken. Deshalb reicht es nicht, nur zu prüfen, ob das Modell bei den Beispielen aus der Feinabstimmung gut abschneidet. Man muss auch nach Verschlechterungen außerhalb dieses engen Bereichs suchen.

Wenn also jemand sagt, ein Modell sei nachträglich abgestimmt worden, helfen vier Fragen. Von welchem gespeicherten Modellstand ging die Arbeit aus? Was lieferte das Lernsignal: breite Texte, vorgegebene Antworten, Vergleiche oder überprüfbare Belohnungen? Welche Gewichte oder zusätzlichen Parameter wurden verändert? Und welches Verhalten wurde danach geprüft, einschließlich möglicher Verschlechterungen?

Dann bleibt die Landkarte übersichtlich. Pretraining baut die breite Grundlage. Fine-Tuning passt einen vorhandenen Modellstand an. Post-Training bezeichnet die größere Werkstatt nach dem Pretraining, in der Fine-Tuning eine von mehreren Methoden sein kann. Die Begriffe überlappen, weil sie unterschiedliche Fragen beantworten. Wer Zeitpunkt, Ausgangspunkt und Lernsignal auseinanderhält, versteht deshalb mehr als jemand, der nur drei Etiketten in die richtige Reihenfolge bringt.