Double Espresso: Training und Inferenz
Canonical episode: https://move37.app/cafe/de/episodes/double-espresso-training-inference-de/
Published: 2026-08-10T21:38:21Z
Language: de

TRANSCRIPT

Willkommen in Andy's Café, wo Maschinen brühen und Menschen genießen. Heute servieren wir einen Double Espresso.

Training und Inferenz: Wo das Lernen aufhört und das Antworten anfängt

In fast jeder Meldung über künstliche Intelligenz taucht einer von zwei Sätzen auf. Entweder heißt es, ein Modell sei mit gewaltigen Datenmengen trainiert worden. Oder es heißt, Inferenz werde immer billiger. Beides klingt nach Technik, über die man einfach hinweghört. Dahinter stecken aber zwei grundverschiedene Tätigkeiten, und wer sie sauber auseinanderhält, versteht plötzlich sehr viel besser, worüber da eigentlich geredet wird.

Also der Reihe nach.

Training ist der Vorgang, der ein Modell herstellt oder verändert. Ein Trainingslauf bekommt Beispiele und Rückmeldungen, misst, wie weit das Modell danebenliegt, und dreht daraufhin an den internen Zahlen des Modells, an den sogenannten Parametern oder Gewichten. Nach dem Training ist das Modell ein anderes als vorher. Das große Vortraining am Anfang, spätere Feinschliffrunden, zusätzliches Nachtraining: Das alles sind Stufen und Spielarten desselben Vorgangs.

Inferenz ist das Gegenstück dazu. Der international übliche englische Begriff lautet Inference. Hier wird das fertige Modell benutzt. Es bekommt eine neue Eingabe und rechnet daraus ein Ergebnis: eine Bewertung, eine Einordnung, einen Text. Entscheidend ist dabei: Das Modell selbst verändert sich in diesem Moment normalerweise nicht. Es wendet an, was im Training in seine Parameter geflossen ist. Ein Hinweis am Rande: In der Statistik hat Inferenz eine deutlich breitere Bedeutung. Wenn heute in der KI-Branche davon die Rede ist, ist damit fast immer genau das gemeint: ein trainiertes Modell auf einen neuen Fall anzuwenden.

Am schnellsten wird das an einem unspektakulären Beispiel klar, an einem Spamfilter.

Beim Training sieht dieses kleine Modell sehr viele Nachrichten, dazu die Information, welche davon Spam waren und welche nicht. Es schätzt jede Nachricht ein, vergleicht seine Einschätzung mit der Wahrheit und passt seine Parameter an, bis es im Schnitt besser trifft. Dieser Lauf braucht seine Zeit, er passiert im Hintergrund, und am Ende steht ein Modell, das man ausliefern kann.

Bei der Inferenz kommt dann genau eine neue Mail herein, und das Modell gibt einen Wert aus: mit welcher Wahrscheinlichkeit die Nachricht Spam ist. Das war seine ganze Arbeit. Was danach passiert, entscheidet nicht das Modell, sondern das Produkt drumherum. Ab welchem Wert eine Nachricht im Spamordner landet, ob sie in Quarantäne wandert, ob ein Absender auf einer Freigabeliste steht: Das sind Regeln, die Menschen rund um das Modell gebaut haben. Man kann sie ändern, ohne das Modell auch nur anzufassen.

Bei einem Sprachmodell ist es im Kern dasselbe. Im Training lernt es breite statistische Muster der Sprache. Bei der Inferenz rechnet es aus dem, was gerade vor ihm liegt, das nächste Stück Text aus, dann das nächste, und so weiter, bis die Antwort fertig ist.

Und damit zur häufigsten Verwechslung überhaupt.

Wenn man einem Chatbot erklärt, wie man heißt oder wie man seine Texte gerne hätte, und er sich das im Gespräch merkt, dann fühlt sich das an wie Lernen. Es sieht aus, als hätte das Modell gerade etwas dazugelernt. Im Normalfall hat es das nicht.

Was da wirkt, sind drei ganz andere Mechanismen. Erstens der Prompt, also die Eingabe, die gerade jetzt formuliert wird. Sie beeinflusst das Ergebnis enorm, aber eben nur dieses eine Ergebnis. Ein langer Prompt bedeutet übrigens mehr Rechenarbeit bei der Inferenz, nicht automatisch mehr Training. Zweitens der Kontext, also alles, was das Produkt zusätzlich mitschickt, etwa den bisherigen Gesprächsverlauf oder gespeicherte Notizen. Auch das ist am Ende nur Text, der bei der Anfrage vorne mit hineingelegt wird. Und drittens Retrieval: Das System sucht passende Dokumente heraus und legt sie ebenfalls dazu.

All das verändert die Eingabe. Nichts davon verändert die Parameter. Der Unterschied ist ungefähr der zwischen jemandem, der ein Buch aufschlägt, und jemandem, der etwas auswendig gelernt hat. Klappt man das Buch zu, ist das Wissen wieder weg.

Deshalb stimmt auch die Vorstellung nicht, ein Modell werde in jedem Gespräch nachtrainiert. Rückmeldungen können später durchaus in einen Trainingslauf einfließen, das ist ein ganz normaler Weg, auf dem Systeme besser werden. Aber das ist ein eigener, geplanter Vorgang zu einem späteren Zeitpunkt und kein sofortiges Einprägen mitten im Gespräch. Wie einzelne Anbieter mit solchen Daten umgehen, ist dabei von Fall zu Fall verschieden. Und es gibt tatsächlich auch Systeme, die im Betrieb laufend weiterlernen. Die Trennung ist also die Regel, kein Naturgesetz.

Warum zählt das im Alltag? Vor allem beim Geld und beim Zeitgefühl. Ein großer Trainingslauf ist ein gewaltiger, konzentrierter Kraftakt: einmal, teuer, gut sichtbar. Inferenz dagegen ist winzig pro Anfrage, passiert aber bei jeder einzelnen Anfrage, millionenfach, jeden Tag. Welche Seite am Ende mehr kostet, hängt davon ab, über welchen Zeitraum man rechnet und wie stark ein Modell genutzt wird. Und noch etwas: Wenn ein Modell in einem Punkt danebenliegt, wird es von allein nicht besser. Besser wird es erst, wenn wieder trainiert wird.

Wer sich nur einen Satz merken möchte, nimmt diesen mit: Training verändert das Modell, Inferenz verändert nur die Antwort. Oder als Bild: Training ist das Rösten der Bohne, Inferenz ist die Tasse, die daraus entsteht. Geröstet wird selten, ausgeschenkt wird ständig.

Das war's für heute. Das Café ist immer geöffnet. Bis bald.

MORE INFORMATION
TEXT LICENSE
This transcript, description and original Andy's Café editorial text are licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
License: https://creativecommons.org/licenses/by/4.0/
Attribution: Andy's Café — https://move37.app/cafe/de/episodes/double-espresso-training-inference-de/
Indicate changes when adapting. Identified third-party quotations and linked source material remain under their own terms.

AUDIO AND OTHER MATERIAL
The composed episode has separate component terms because its piano cues are third-party material. Artwork and the Andy's Café brand are not included in the CC BY licence.
Rights map: https://move37.app/cafe/welcome/#reuse
Contact: hello@move37.app