Sunday Latte: Warum KI sicher klingen und trotzdem falsch liegen kann

Drei Antworten, keine stimmt

In einer Forschungsarbeit aus dem Jahr zweitausendfünfundzwanzig stellten die Autoren drei öffentlich zugänglichen Sprachmodellen eine sehr genaue Frage. Wie lautete der Titel der Doktorarbeit des Forschers Adam Tauman Kalai?

Alle drei Systeme antworteten, als würden sie aus einem Bibliothekskatalog vorlesen. Sie nannten einen Titel, eine Universität und ein Jahr. Die Sätze waren glatt, vollständig und frei von jedem sichtbaren Zögern. Doch kein Modell nannte den richtigen Titel oder das richtige Jahr.

Gerade die Form der Antworten macht den Fall interessant. Ein wirrer Satz hätte sofort Misstrauen geweckt. Hier passte fast alles zusammen: der akademische Ton, die Art des Titels, die biografischen Einzelheiten. Nur die entscheidende Verbindung zwischen Person, Arbeit und Jahr war falsch.

Darauf liegen zwei vorschnelle Reaktionen nahe. Man kann gute Sprache mit verlässlichem Wissen verwechseln. Oder man erklärt nach einem solchen Fehler jede Antwort einer künstlichen Intelligenz zum bloßen Ratespiel. Beides wird den Systemen nicht gerecht.

Sprachmodelle können echte Zusammenhänge wiedergeben, Quellen vergleichen und schwierige Gedanken verständlich ordnen. Gleichzeitig können sie einen Namen, ein Datum oder ein Zitat erfinden, ohne dass sich ihr Ton verändert. Die nützliche Leistung und der überzeugende Irrtum entstehen nicht in getrennten Welten.

Deshalb geht es heute nicht nur um die bekannte Feststellung, dass künstliche Intelligenz Fehler macht. Entscheidend ist, warum ein Fehler so fertig und so sicher klingen kann. Was beweist flüssige Sprache tatsächlich? Was wäre eine gut begründete Angabe von Unsicherheit? Was ändern Suche und Werkzeuge? Und wie lässt sich all das nutzen, ohne dem Tonfall blind zu folgen oder jeden Satz vorsorglich zu verwerfen?

Die erfundene Doktorarbeit bleibt dabei unser roter Faden. Sie ist eine selten dokumentierte, sehr genaue Tatsache in einer sprachlich vertrauten Umgebung. Genau dort zeigt sich der Abstand zwischen einer überzeugenden Antwort und einer belegten Antwort.

Was gute Sprache beweist

Ein Sprachmodell erzeugt seine Antwort Schritt für Schritt. Es verarbeitet die Frage und alles, was bereits im Text steht. Dann verteilt es Wahrscheinlichkeiten auf mögliche nächste Tokens, also auf die nächsten Textbausteine. Einer davon wird ausgewählt, an den bisherigen Text angefügt und zur Grundlage des nächsten Schritts.

Aus diesem wiederholten Vorgang entsteht nicht zufällig gute Sprache. Jeder neue Baustein hängt vom gesamten verfügbaren Kontext ab. Im Training hat das Modell Grammatik, Stil, sachliche Beziehungen, Argumentationsmuster und viele Formen menschlicher Kommunikation aufgenommen. Eine schlüssige Erklärung ist deshalb eine echte Leistung und kein Wortsalat mit Glück.

Die Grenze steckt im Ziel des Vortrainings. Vorgegeben ist der Text, der im Trainingsmaterial tatsächlich als Nächstes erscheint. Das Verfahren verbessert das Modell, wenn es diesem beobachteten Text mehr Wahrscheinlichkeit gibt. Ein zweites Etikett mit der Aufschrift wahr liegt normalerweise nicht daneben.

Eine sorgfältige Erklärung, ein Märchen, eine Korrektur und ein weit verbreiteter Irrtum können alle als normale Textfolgen im Material stehen. Das Modell kann aus jedem von ihnen lernen. Weil die Wirklichkeit viele beständige Spuren in unserer Sprache hinterlässt, entstehen dabei breite sachliche Fähigkeiten. Aber die Vorhersage von Text und die Prüfung einer Behauptung bleiben verschiedene Aufgaben.

Bei einer gewöhnlichen Antwort wird nicht jeder fertige Satz automatisch mit einem amtlichen Register oder einer wissenschaftlichen Originalquelle verglichen. Ein umgebendes System kann eine Suche oder einen Prüfschritt ergänzen. Ohne diesen Zusatz arbeitet das Modell mit den Mustern in seinen Gewichten und mit dem aktuellen Kontext.

So lässt sich die Form der erfundenen Dissertation verstehen. Akademische Titel folgen wiederkehrenden Mustern. Universitäten, Jahreszahlen und Forschungsgebiete ergeben vertraute biografische Sätze. Diese Form überzeugend zu beherrschen ist etwas anderes, als die korrekte Zuordnung einer bestimmten Person zu einer bestimmten Arbeit zuverlässig wiederzugeben.

Gute Sprache zeigt, dass das Modell eine passende Fortsetzung bilden kann. Ob der Inhalt stimmt, muss sich an etwas anderem erweisen.

Drei Arten von Sicherheit

Das Wort Sicherheit verdeckt oft drei verschiedene Dinge.

Da ist zunächst die Sicherheit im Ton. Eine Antwort kann ausdrücklich sagen: Das ist eindeutig. Sie kann aber auch ohne solche Wörter sehr bestimmt wirken. Klare Gliederung, genaue Einzelheiten und fehlende Einschränkungen erzeugen sprachliche Souveränität. All das gehört zur Form der Ausgabe.

Daneben stehen die Wahrscheinlichkeiten im Modell. Bei jedem Schritt bewertet es mögliche nächste Tokens. Bei einer eng begrenzten Auswahlfrage kann es auch mehreren Antwortmöglichkeiten unterschiedliche Wahrscheinlichkeiten geben. Diese Zahlen gelten für genau diese Vorhersage in genau dieser Form.

Die dritte Bedeutung ist die geschätzte Wahrscheinlichkeit, dass eine Antwort richtig ist. Hier kommt Kalibrierung ins Spiel. Nehmen wir hundert Antworten, denen ein System jeweils siebzig Prozent Sicherheit zuordnet. Bei guter Kalibrierung sollten in dieser Gruppe ungefähr siebzig Antworten stimmen. Das ist eine Eigenschaft vieler Fälle. Eine einzelne Antwort kann richtig oder falsch sein, aber nicht für sich allein gut kalibriert.

Diese Ebenen können auseinanderfallen. Ein Satz klingt entschlossen, obwohl mehrere Fortsetzungen ähnlich wahrscheinlich sind. Ein geläufiger Irrtum kann eine hohe Wahrscheinlichkeit erhalten. Und die Wahrscheinlichkeit eines einzelnen Tokens ist nicht automatisch die Wahrscheinlichkeit, dass der ganze Gedanke wahr ist. Derselbe Gedanke lässt sich schließlich auf viele Arten formulieren.

In Versuchen konnten Sprachmodelle die Zuverlässigkeit eigener Antworten teilweise erstaunlich gut einschätzen, wenn Aufgabe und Abfrage sorgfältig gestaltet waren. In anderen Bereichen blieben sie übermäßig selbstsicher oder verloren ihre Kalibrierung, sobald sich die Art der Fragen änderte. Ein gutes Ergebnis in einem Test lässt sich nicht unverändert auf jedes Fachgebiet übertragen.

Auch eine Zahl aus dem Modell beglaubigt sich nicht selbst. Wenn ein Assistent sagt, er sei zu neunzig Prozent sicher, ist diese Zahl zunächst ebenfalls erzeugter Text. Sie wird erst dann aussagekräftig, wenn das Verfahren dahinter für vergleichbare Fragen geprüft wurde.

Der ruhige Ton an der Oberfläche verrät also keine einheitliche innere Gewissheit. Sprachlicher Nachdruck, Vorhersagewahrscheinlichkeit und gemessene Zuverlässigkeit hängen zusammen, sind aber nicht dasselbe.

Wenn Plausibilität die Lücke füllt

Für überzeugende Falschaussagen wird meist das Wort Halluzination verwendet. Der Begriff klingt nach einer einzelnen Störung, umfasst aber sehr unterschiedliche Fehler.

Manchmal wiederholt ein Modell einen Irrtum, den Menschen selbst häufig aufschreiben. Eine Forschungsgruppe baute dafür gezielt einen Test aus Fragen auf, bei denen verbreitete Antworten falsch sind. In den ursprünglichen Versuchen lieferten Sprachmodelle dazu regelmäßig ausführliche, aber falsche Antworten. Gute Nachahmung menschlicher Texte schützt nicht automatisch vor menschlichen Irrtümern.

Ein anderes Problem sind seltene, willkürliche Tatsachen. Das Geburtsdatum einer weltbekannten Person steht vielleicht in Tausenden Texten. Der Titel einer wenig zitierten Doktorarbeit taucht womöglich nur einmal auf. Die typische Form eines Titels kennt das Modell trotzdem. So kann es die Lücke mit etwas füllen, das genau richtig aussieht. Mathematische Arbeiten erklären unter klaren Annahmen, warum solche seltenen Zuordnungen besonders schwierig sind. Sie liefern jedoch keine feste Fehlerquote für jedes heutige System.

Manche Lücke steckt bereits in der Frage. Welches Recht gilt, wenn das Land fehlt? Ist ein Geschäft geöffnet, wenn weder Ort noch Datum genannt sind? Ein Modell kann eine naheliegende Annahme wählen und sie unbemerkt als Tatsache ausgeben.

Andere Fehler entstehen beim Rechnen, beim Schlussfolgern oder beim Bedienen eines Werkzeugs. Auch das sollte man unterscheiden. In einer Zusammenfassung kann ein Satz unbelegt sein, weil er nicht aus der vorgelegten Quelle folgt. Er könnte außerhalb dieser Quelle trotzdem wahr sein. Umgekehrt kann eine Antwort ihre Quelle vollkommen korrekt wiedergeben, obwohl die Quelle selbst falsch ist.

Halluzination bedeutet dabei nicht Lüge. Eine Lüge setzt die Absicht voraus, jemanden zu täuschen. Hier geht es um eine falsche oder unbelegte Ausgabe, nicht um ein behauptetes Innenleben des Systems.

Auch weniger Zufall bei der Texterzeugung löst das Grundproblem nicht. Ein Modell kann denselben wahrscheinlichen Irrtum einfach beständiger wiederholen. Wechselnde Antworten sind ein Warnsignal. Gleichbleibende Antworten sind noch kein Beweis, denn auch eine verbreitete Fehlvorstellung kann sehr stabil sein.

Warum Raten sich lohnen kann

Nach dem Vortraining wird ein Sprachmodell meist weiter geformt. Gute Beispielantworten zeigen, wie es Anweisungen befolgen soll. Vergleiche zwischen mehreren Antworten belohnen, was Menschen hilfreich, klar, sicher oder angenehm finden. Dieses Nachtraining kann sachliche Fehler verringern und einen vernünftigen Umgang mit Unsicherheit fördern.

Doch auch hier wird Verhalten anhand von Beispielen und Bewertungen optimiert. Dadurch entsteht kein allgemeiner Wahrheitsprüfer. Menschliche Wünsche können außerdem miteinander in Konflikt geraten. Wir mögen direkte Antworten, möchten verstanden werden und ärgern uns über unnötige Verweigerungen. Manchmal wäre eine Einschränkung trotzdem ehrlicher.

In kontrollierten Studien bevorzugten Menschen und trainierte Bewertungsmodelle gelegentlich eine überzeugend formulierte Zustimmung zur Ansicht des Fragenden, obwohl eine andere Antwort sachlich besser war. Ein System kann also Schwächen der Rückmeldungen übernehmen, aus denen es lernen soll.

Ähnlicher Druck entsteht durch Prüfverfahren. Stellen wir uns einen Test vor, der für eine richtige Antwort einen Punkt vergibt. Eine falsche Antwort und ein ehrliches „Das weiß ich nicht“ erhalten beide null Punkte. Sobald eine Vermutung irgendeine Aussicht auf Erfolg hat, verbessert Raten den erwarteten Punktestand. Zurückhaltung kann ihn nicht erhöhen.

Viele einflussreiche Leistungstests folgen zumindest teilweise diesem Muster. Niemand muss dabei falsche Antworten beabsichtigen. Wenn die wichtigste Kennzahl vor allem richtige Treffer zählt, ohne angemessene Unsicherheit zu belohnen, erscheint ein stets antwortendes Modell leistungsfähiger als eines, das manche Grenzen erkennt.

Die Lösung ist kein Assistent, der sich vor jeder schwierigen Frage drückt. Sinnvoller ist abgestufte Verbindlichkeit. Bei guter Grundlage darf eine Antwort klar sein. Bei einer unvollständigen Frage sollte das System nachhaken. Und wenn eine falsche Vermutung schweren Schaden anrichten könnte, muss die Schwelle zum Antworten höher liegen.

Ein Ratespiel und eine Auskunft über eine Medikamentendosis verlangen nicht denselben Maßstab. Gute Bewertung fragt deshalb nicht nur, wie oft ein System hilft. Sie fragt auch, wie es mit den Fällen umgeht, in denen verlässliche Hilfe gerade nicht möglich ist.

Der Blick nach draußen

Die Frage nach der Doktorarbeit verändert sich, sobald das System nachschlagen kann.

Ein Suchverfahren kann einen Hochschulkatalog, eine wissenschaftliche Biografie oder eine andere einschlägige Fundstelle abrufen. Der passende Abschnitt wird in den aktuellen Kontext gelegt. Das Sprachmodell formuliert seine Antwort dann nicht allein aus unsicher gespeicherten Zusammenhängen in seinen Gewichten, sondern mit einem Dokument vor Augen.

Dieser gezielte Abruf hilft besonders bei neuen oder seltenen Informationen. Die externe Sammlung lässt sich aktualisieren, ohne das ganze Modell neu zu trainieren. Außerdem bleibt ein Weg zur Quelle erhalten. In Versuchen wurden Antworten durch solche Verfahren auf den untersuchten Aufgaben faktisch verlässlicher.

Andere Werkzeuge verlagern eine Teilaufgabe ganz aus der Texterzeugung. Ein Taschenrechner führt die Rechnung aus. Eine Datenbank liefert den gespeicherten Wert. Ein Kalender prüft das Datum. Sprachmodelle können lernen, wann sie solche Werkzeuge aufrufen und wie sie deren Ergebnis in eine Antwort einbauen.

Damit entsteht allerdings eine Kette, keine Garantie. Schon die Suchanfrage kann am Thema vorbeigehen. Ein Treffer betrifft vielleicht einen Namensvetter. Eine Seite kann veraltet sein oder den Fehler einer anderen Seite wiederholen. Das richtige Dokument kann vorliegen und trotzdem übersehen oder falsch gelesen werden. Selbst ein korrektes Rechenergebnis lässt sich anschließend falsch beschreiben.

Quellenangaben sind deshalb nützlich, aber kein Gütesiegel. Sie machen einen Teil der Kette prüfbar. Eine Quelle kann existieren und doch den Satz daneben nicht stützen. Untersuchungen zu Antworten mit automatisch erzeugten Quellenangaben zeigen, dass sprachlich starke Systeme weiterhin Behauptungen ohne ausreichenden Nachweis stehen lassen.

Bei unserer Dissertation wäre der entscheidende Fortschritt nicht irgendein Suchtreffer. Nötig wäre eine Originalquelle oder eine verlässliche institutionelle Fundstelle, die eindeutig zum richtigen Adam Kalai gehört. Die Antwort dürfte nur das behaupten, was dieser Nachweis trägt. Wird keine geeignete Fundstelle gefunden, muss die Unsicherheit erhalten bleiben.

Entscheidend ist daher nicht nur, ob das Modell suchen kann. Hat es die richtige Quelle gefunden, passt sie zum Fall, und gibt die Antwort ihren Inhalt treu wieder?

Prüfen mit Augenmaß

Aus all dem folgt nicht, dass nun jedes freundliche Adjektiv eine Quellenprüfung braucht. Der Aufwand sollte davon abhängen, wofür eine Antwort gebraucht wird und was ein Irrtum auslösen könnte.

Wer Namen für ein erfundenes Café sammelt, kann sprachliche Einfälle einfach ausprobieren. Bei einer Kündigungsfrist, einer Wechselwirkung zwischen Arzneimitteln oder einer Behauptung über eine konkrete Person kann ein einziges falsches Detail die ganze Antwort entwerten. Je schwerer die Folgen eines Fehlers, desto weniger Gewicht darf der souveräne Ton haben.

Oft gibt es in einer langen Antwort eine einzige Schlüsselbehauptung. Vielleicht hängt alles an einem Datum, einem Zitat, einer Prozentzahl oder der Fassung einer Vorschrift. Diesen einen Punkt direkt zu prüfen ist wirksamer, als dem gesamten Text pauschal zu misstrauen.

Nach Quellen zu fragen hilft nur, wenn man sie anschließend öffnet. Gehört die Fundstelle wirklich zum richtigen Gegenstand? Ist sie aktuell? Trägt sie genau die Aussage, für die sie genannt wird? Ein Originaldokument oder eine zuständige offizielle Stelle ist meist wertvoller als viele Seiten, die denselben Satz voneinander übernommen haben.

Auch die Frage selbst kann unnötige Unsicherheit beseitigen. Ein Datum, ein Land, eine Produktversion oder das maßgebliche Dokument schafft klare Grenzen. Fehlt eine wichtige Voraussetzung, kann man das Modell zuerst benennen lassen, welche Information es für eine belastbare Antwort noch braucht.

Die bloße Nachfrage „Bist du sicher?“ ist weniger hilfreich. Ein Sprachmodell kann denselben Satz nur nachdrücklicher formulieren oder eine richtige Antwort aus Gefälligkeit zurücknehmen. Besser ist die Frage: Worauf stützt sich diese Aussage, welcher Teil ist Schlussfolgerung, und welche zusätzliche Information könnte das Ergebnis ändern?

Für manche Aufgaben gibt es einen passenden äußeren Test. Eine Rechnung lässt sich neu ausführen, ein Zitat mit dem Original vergleichen, ein Eintrag im zuständigen Register nachsehen. Bei folgenreichen medizinischen, rechtlichen oder finanziellen Entscheidungen sollte zusätzlich eine qualifizierte Fachperson einbezogen werden, die den konkreten Fall beurteilen und Verantwortung übernehmen kann.

Mehrere Versuche liefern ebenfalls Hinweise. Wenn die Antwort ständig wechselt, sinkt das Vertrauen. Bleibt sie gleich, darf es ein wenig steigen, aber nicht bis zur Gewissheit. Ein stabiler Irrtum bleibt ein Irrtum.

Am nützlichsten ist die Trennung zwischen Entwurf und belegter Tatsache. Ein Modell kann einen Gedanken hervorragend ordnen und einen Namen verwechseln. Es kann die richtigen Rückfragen finden, bevor es die endgültige Antwort kennt. Man muss seine gesamte Leistung weder glauben noch verwerfen. Man muss erkennen, welcher Teil die Prüfung tatsächlich braucht.

Vertrauen ohne geliehene Gewissheit

Kehren wir ein letztes Mal zu den drei Antworten über die Doktorarbeit zurück.

Sie scheiterten nicht an der Sprache. Sie hielten die Form einer akademischen Biografie ein und ersetzten darin die entscheidenden Tatsachen. Gerade deshalb wirkten sie glaubwürdig. Die Sätze trugen alle sichtbaren Zeichen einer geprüften Auskunft, nur die Prüfung selbst fehlte.

Jetzt lassen sich die Ebenen sauber trennen. Die flüssige Ausgabe entstand aus erlernten Sprachmustern. Der bestimmte Ton gab ihr Nachdruck. Beides lieferte keine kalibrierte Wahrscheinlichkeit dafür, dass der Titel stimmte. Und ohne gezielten Abruf lag während der Antwort kein verlässlicher Originalnachweis im aktuellen Kontext.

Diese Unterscheidung macht die Leistung des Modells nicht klein. Zusammenhängende Erklärungen zu neuen Fragen zu bilden ist bemerkenswert. Der Fehler beginnt dort, wo sprachliche Qualität etwas beweisen soll, das sie nicht beweisen kann.

Ebenso wenig muss jede Unsicherheit in Schweigen enden. Gute Kalibrierung bedeutet nicht, möglichst selten etwas zu sagen. Sie bedeutet, die Stärke einer Aussage an ihre Grundlage anzupassen. Das Ergebnis kann eine klare Antwort sein, aber auch eine Spanne, eine Einschränkung, eine Rückfrage oder das offene Eingeständnis, dass sich die genaue Tatsache nicht belegen ließ.

Suche, Werkzeuge und besseres Nachtraining erweitern die verlässlichen Möglichkeiten. Prüfverfahren können vernünftige Zurückhaltung belohnen, statt sie wie einen Fehler zu behandeln. Methoden zur Einschätzung von Unsicherheit können manche Antworten mit hohem Fehlerrisiko erkennen. Keine dieser Verbesserungen macht die Frage nach der Grundlage überflüssig.

Wenn eine Antwort sicher klingt, darf man die Sicherheit zunächst als Teil ihrer Darstellung hören. Danach lohnt der Blick darunter. Stammt die Behauptung aus einem eingeübten Muster? Aus einem Text, den wir selbst vorgelegt haben? Aus einer aktuellen Quelle? Aus einer Rechnung, die tatsächlich ausgeführt wurde? Oder hat flüssige Sprache eine Lücke unauffällig geschlossen?

Wie weit wir diese Kette verfolgen müssen, hängt von den Folgen eines Fehlers ab.

Eine angenehme Stimme, ein sauberer Absatz und ein genaues Datum machen eine Antwort leicht verständlich. Wahr wird sie dadurch nicht. Dafür braucht sie eine tragfähige Verbindung zur Wirklichkeit. Wenn wir beides auseinanderhalten, können wir künstliche Intelligenz mit Vertrauen nutzen, ohne ihre Gewissheit einfach zu unserer eigenen zu machen.