Sunday Latte: Por qué la inteligencia artificial puede sonar segura y aun así equivocarse

Tres títulos convincentes

En un estudio se planteó a tres modelos de lenguaje una pregunta muy concreta: ¿cuál era el título de la tesis doctoral del investigador Adam Tauman Kalai? La respuesta correcta no dependía de una opinión. Había un título y un año que podían comprobarse en un registro.

Los tres modelos respondieron con soltura. Dieron títulos específicos y los rodearon de una historia académica verosímil. El vocabulario parecía propio de una universidad. Las fechas encajaban en una carrera profesional imaginable. Nada en la gramática advertía que existía un problema. Sin embargo, ninguno acertó el título ni el año.

Lo llamativo no es solo que se equivocaran. Es que cada respuesta tenía el aspecto de una información bien asentada. Si hubieran producido frases rotas o datos evidentemente absurdos, la duda habría surgido de inmediato. La calidad de la presentación escondía la debilidad del dato central.

Este caso no permite ordenar los modelos de mejores a peores, ni medir con qué frecuencia fallan en otros asuntos. Sirve para observar un mecanismo. Un sistema puede conocer muy bien la forma de un título doctoral y, al mismo tiempo, no disponer de una base fiable para relacionar a esa persona con ese título exacto.

La paradoja se aclara cuando dejamos de tratar como una sola cosa tres señales diferentes. Una es la fluidez, o lo bien que funciona el texto como lenguaje. Otra es la seguridad que comunica el tono. La tercera es la verdad de las afirmaciones. A menudo coinciden, porque el lenguaje contiene mucho conocimiento válido. Pero ninguna garantiza por sí sola las otras.

Completar no es comprobar

Un modelo generativo recibe una pregunta y todo lo que se ha escrito hasta ese momento. A partir de ese contexto, asigna probabilidades a los posibles tokens siguientes. Un token es una pequeña unidad de texto: puede ser una palabra, parte de una palabra o un signo. El sistema elige una posibilidad, la incorpora al contexto y repite el proceso.

Esta descripción puede sonar demasiado simple para explicar un ensayo coherente. La clave está en el aprendizaje previo. El modelo ha captado patrones de sintaxis, significado, estilo, géneros y resolución de problemas. Las palabras no se eligen de manera aislada. Cada paso depende de la secuencia completa, de modo que muchas decisiones locales pueden formar un argumento ordenado.

Durante el entrenamiento inicial, el objetivo inmediato consiste en anticipar la continuación observada. No se entrega al modelo una etiqueta de verdadero o falso para cada oración. Un manual riguroso, una novela, una conjetura, un error común y una leyenda popular son todos textos que pueden continuar de forma predecible.

Por eso, el modelo aprende innumerables asociaciones verdaderas y útiles, pero también puede aprender una falsedad repetida por muchas personas. Predecir bien el lenguaje acerca al sistema al conocimiento humano, porque el conocimiento está expresado en lenguaje. No instala un control automático que compare cada afirmación con el mundo.

La probabilidad de un token tampoco es la probabilidad de que una proposición sea cierta. Esa cifra mezcla dudas sobre el contenido con dudas sobre la forma de expresarlo. Un mismo hecho puede decirse de muchas maneras. Y una palabra puede encajar perfectamente en una frase cuya afirmación completa nunca se ha contrastado con una fuente fiable.

El hueco que rellena la plausibilidad

Los hechos raros y arbitrarios plantean una dificultad especial. Quizá el modelo haya visto muchas biografías, muchos títulos de tesis y muchas referencias a universidades. Eso le enseña el molde. Pero el vínculo exacto entre una persona poco mencionada, una investigación concreta y un año determinado puede aparecer muy pocas veces o no aparecer en los datos.

Cuando falta ese vínculo, queda una tentación estadística: completar el molde con elementos que suelen acompañarse. Los nombres de artículos, las fechas y las referencias bibliográficas tienen estructuras reconocibles. El modelo puede producir una combinación que suena apropiada sin que corresponda a ningún registro real. La plausibilidad ocupa el lugar que debería ocupar la evidencia.

Este tipo de salida suele llamarse alucinación. Aquí la palabra designa un fallo observable: una afirmación que parece plausible, pero es falsa o carece del respaldo que la respuesta da a entender. No describe una experiencia interior y no implica voluntad de engañar. Una respuesta falsa no tiene por qué ser una mentira.

Además, no todo error tiene la misma causa. La pregunta puede ser ambigua, depender de un país o una fecha, o referirse a un suceso posterior al entrenamiento. Puede fallar un cálculo, un razonamiento o el uso de una herramienta. Decir simplemente que el modelo se lo inventó no basta para saber qué parte debe corregirse.

Repetir la pregunta ayuda a detectar algunas debilidades. Si aparecen respuestas con significados muy distintos, hay una señal clara de inestabilidad. Pero el acuerdo tampoco demuestra la verdad. Varios intentos pueden repetir la misma asociación falsa. Reducir la variación puede incluso hacer que un error probable aparezca con mayor constancia.

Qué quiere decir confianza

La palabra confianza se usa para varias cosas y conviene separarlas. La primera es la seguridad del lenguaje. Una respuesta puede presentarse como indudable, ordenar sus argumentos con elegancia y añadir detalles precisos. Todo eso influye en quien escucha. Sin embargo, sigue siendo una forma de presentación, no una medida estadística.

La segunda es la probabilidad asignada a los tokens o a las opciones de una pregunta cerrada. En una tarea con respuestas bien definidas, la probabilidad de cada opción puede relacionarse con el resultado correcto. En un texto libre, la probabilidad del próximo token no representa directamente la posibilidad de que toda una afirmación sea verdadera.

La tercera es una estimación explícita de la probabilidad de acertar. Esa estimación puede someterse a una prueba llamada calibración. Si reunimos muchas respuestas marcadas con un setenta por ciento de confianza, una buena calibración exige que aproximadamente siete de cada diez sean correctas, dentro de ese tipo de preguntas.

La calibración habla de una serie de casos. No certifica la respuesta individual que tenemos delante. También depende del entorno. Un sistema puede calibrarse bien con un formato conocido y volverse demasiado confiado en un campo nuevo. Puede acertar mucho y exagerar su seguridad, o acertar menos y señalar sus límites de forma más honesta.

Ni siquiera la calibración equivale a calidad. Imaginemos un sistema que siempre responde mal y siempre asigna una probabilidad nula a la posibilidad de acertar. En ese conjunto limitado de casos, la cifra coincidiría con lo observado, pero el sistema seguiría siendo inútil para obtener hechos. Calibración, exactitud y utilidad responden a preguntas diferentes.

Cuando un modelo afirma estoy seguro al noventa por ciento, esa frase es otra salida generada hasta que conocemos su comportamiento en tareas comparables. Las expresiones de duda pueden aportar información, y se investiga cómo obtenerlas mejor. Pero el tono no se convierte en una probabilidad fiable solo porque incluya un número.

Por qué a veces conviene adivinar

Tras el entrenamiento inicial, los modelos suelen recibir ejemplos de buenas respuestas y valoraciones humanas. Este aprendizaje posterior puede enseñarles a seguir instrucciones, reconocer límites, expresar dudas y abstenerse cuando falta información. Son mejoras reales, pero modifican los incentivos del sistema; no añaden una garantía universal de verdad.

Lo que se recompensa importa. Una respuesta clara, servicial y de acuerdo con la persona puede recibir una valoración mejor que una corrección incómoda. En pruebas controladas, tanto algunas personas como algunos sistemas de preferencia han favorecido respuestas complacientes frente a respuestas correctas. No hace falta que nadie desee el error. Basta con que utilidad aparente, amabilidad y verdad sean difíciles de distinguir en una evaluación rápida.

Los exámenes automáticos también pueden empujar hacia la adivinación. Supongamos que una respuesta correcta gana un punto, mientras que una respuesta incorrecta y una admisión de no saber reciben ambas cero. Intentar una opción nunca empeora la puntuación. Guardar silencio no obtiene reconocimiento, aunque sea la conducta más responsable.

Una evaluación mejor puede premiar la incertidumbre apropiada. Eso no significa convertir el modelo en una máquina de rechazos. Abstenerse reduce afirmaciones sin apoyo, pero también deja preguntas sin atender. La proporción adecuada depende del riesgo. Una idea creativa admite exploración; una instrucción médica o una decisión financiera requiere un fundamento mucho más firme.

El objetivo útil es responder cuando existe una base suficiente, buscar apoyo externo cuando está disponible y hacer visible lo que no se puede verificar. La incertidumbre bien expresada no es una evasión. Es parte de la información que la respuesta debería transmitir.

Correcto y fiel no son lo mismo

Verdad y fidelidad a una fuente también deben distinguirse. Imaginemos que pedimos resumir un documento concreto. El modelo añade un dato que no figura allí, aunque por casualidad ese dato sea verdadero en el mundo. La frase es correcta, pero el resumen no es fiel al material que debía representar.

También puede ocurrir lo contrario. Un documento contiene un error y el modelo lo resume con absoluta precisión. La respuesta es fiel a la fuente, pero la afirmación sigue siendo falsa. Por eso hacen falta dos preguntas: ¿la respuesta reproduce bien lo que dice el documento? ¿Y el documento describe bien la realidad?

La etiqueta alucinación puede ocultar diferencias útiles. Inventar una publicación inexistente no es igual que atribuir a una fuente una frase que no contiene. Tampoco es igual que cometer un error lógico a partir de hechos correctos. Nombrar el fallo concreto ayuda a elegir la comprobación adecuada.

Una cita textual se compara con el original. Una fecha oficial se busca en el registro correspondiente. Un resultado numérico se vuelve a calcular. Cuando una cuestión es discutida o todavía no tiene respuesta, presentar varias interpretaciones respaldadas puede ser más fiel que fabricar una conclusión única.

La utilidad añade otra dimensión. Una respuesta puede ser fiel y verdadera, pero no contestar lo que la persona necesitaba. O puede ser una excelente propuesta creativa sin pretender describir un hecho. Antes de evaluar, conviene saber qué clase de promesa está haciendo el texto.

Lo que cambia al buscar fuentes

Un asistente completo puede añadir búsqueda, documentos y herramientas al modelo de lenguaje. Puede recuperar un registro reciente, pedir a una calculadora una operación o consultar una base de datos. Así, la información necesaria entra en el contexto actual sin tener que estar almacenada con precisión en los pesos del modelo.

Esto cambia mucho la situación. Aparece evidencia externa y queda un rastro que otra persona puede inspeccionar. Sin embargo, la cadena no termina al encontrar una página. La consulta puede estar mal formulada. El resultado puede ser antiguo, irrelevante o referirse a alguien con el mismo nombre. Varias páginas pueden repetir una sola equivocación.

Incluso con el documento correcto, el modelo puede pasar por alto el fragmento importante, sobre todo si está rodeado de mucho texto. Puede interpretarlo mal o afirmar más de lo que permite. También puede escoger la herramienta equivocada. La búsqueda reduce la falta de información, pero introduce decisiones nuevas que deben salir bien.

Una referencia junto a una frase tampoco es un sello de verdad. Es una puerta para auditarla. Hay que comprobar que la fuente existe, que corresponde al caso, que tiene la autoridad necesaria y que respalda precisamente esa afirmación. Una bibliografía abundante puede convivir con detalles que ninguna fuente sostiene.

La recuperación de información y las herramientas no convierten al modelo en una base de datos infalible. Su ventaja es más práctica: permiten fundamentar afirmaciones y comprobar el recorrido. El resultado mejora cuando la evidencia adecuada se encuentra, se entiende y se comunica sin añadir adornos que no están respaldados.

Seguir la pista de la tesis

Volvamos a la tesis de Adam Tauman Kalai. Después de recibir tres títulos incorrectos, preguntar a un modelo si está seguro sería una prueba débil. Podría reconocer la duda, pero también podría generar una nueva frase tranquilizadora. Solicitar muchas respuestas podría mostrar desacuerdo, aunque el acuerdo entre ellas tampoco resolvería el caso.

La pregunta exige una fuente adecuada. El camino razonable conduce a un registro universitario o a una página institucional vinculada con el investigador. Primero hay que confirmar que se trata de la persona correcta. Después, que el registro contiene realmente el título y el año. Por último, la respuesta debe limitarse a lo que ese documento permite afirmar.

Si la búsqueda no encuentra un registro concluyente, no puedo verificar el título exacto es una respuesta mejor que una reconstrucción elegante. La finalidad de buscar no es obligar al sistema a llenar el espacio. Es descubrir qué está apoyado y qué sigue abierto.

Este caso muestra por qué ciertos detalles merecen atención especial. Los nombres propios, los títulos exactos, las fechas, las estadísticas, las citas y los sucesos recientes tienen una respuesta precisa que el lenguaje puede imitar con facilidad. Cuanto más raro y arbitrario sea el vínculo, menos puede ayudarnos la mera apariencia de naturalidad.

También muestra que añadir contexto inventado empeora la situación. Una biografía más larga no compensa un título sin verificar. A veces, la respuesta más útil contiene menos detalles porque cada detalle adicional crea otra afirmación que necesita respaldo.

Dónde colocar la confianza

No necesitamos comprobar con la misma intensidad todo lo que produce un modelo. Una lluvia de ideas, una reformulación o un primer esquema pueden aprovechar su fluidez sin tratar cada frase como una afirmación histórica. La verificación debe crecer con la precisión de la afirmación y con el daño que causaría un error.

En asuntos médicos, legales, financieros o de seguridad, una respuesta convincente es apenas el comienzo. Hace falta acudir a la fuente adecuada o a una persona cualificada. En tareas menos arriesgadas, una pausa especial para nombres, cifras, citas y noticias recientes suele capturar gran parte del peligro sin convertir el uso cotidiano en una investigación interminable.

Es más útil preguntar en qué se apoya una afirmación que limitarse a preguntar si el modelo está seguro. Si aparece una fuente, la abrimos y comprobamos el pasaje. Si falta un dato esencial, añadimos la fecha, el país, la versión del producto o el documento aplicable. Si hay un cálculo, lo repetimos con una herramienta apropiada. Cada tipo de afirmación tiene su forma natural de contraste.

Las señales internas se interpretan con modestia. El desacuerdo entre varios intentos es una advertencia, no un diagnóstico completo. El acuerdo y el tono firme son indicios, no pruebas. Una cifra de confianza solo adquiere significado cuando sabemos cómo se ha calibrado en una situación comparable.

Tampoco hace falta elegir entre creer toda la respuesta y descartarla entera. Un modelo puede organizar una explicación de forma excelente y fallar en un dato decisivo. Conservamos la estructura útil y verificamos el dato. Esta separación evita tanto la credulidad como el cinismo.

Los tres títulos de tesis son un recordatorio sencillo. La fluidez mide el ajuste a los patrones del lenguaje. La seguridad verbal pertenece a la presentación. La calibración compara probabilidades con resultados a lo largo del tiempo. La verdad depende de los hechos y de la evidencia disponible. Escuchar con criterio significa disfrutar de una buena explicación sin pedirle al tono que demuestre lo que solo una prueba puede sostener.