Sunday Latte: Cómo aprende un modelo de lenguaje

La palabra que falta

Imagina una frase detenida justo antes del final: La panadera metió el pan en el...

No hace falta pensarlo mucho. Lo más probable es que venga horno. En una historia extraña podría ser congelador, pero sin más contexto, horno es la apuesta sensata. Tú no llegas a ella contando palabras. Sabes algo de las panaderías, de la cocina, de la gramática y de cómo suele avanzar un relato.

Un modelo de lenguaje no empieza así. Al principio tiene una estructura llena de números que todavía no forman patrones útiles. Ante la misma frase, sus apuestas serían casi arbitrarias. Solo después de entrenarse sitúa horno muy por encima de muchas alternativas.

La pregunta interesante no es por qué horno encaja. Es cómo llega el modelo a esperarlo. Nadie le entrega primero un manual de gramática y luego una enciclopedia del mundo. Durante el preentrenamiento resuelve una tarea que parece mucho más modesta: predecir qué fragmento de texto viene a continuación. La repite una cantidad enorme de veces, con textos de muchas clases.

¿Cómo se convierte una predicción fallida en un cambio duradero? ¿Qué ocurre cuando el ejercicio se repite con cantidades inmensas de datos y cálculo? ¿Por qué el resultado todavía no es un asistente? Y cuando un chatbot parece aprender algo que acabamos de contarle, ¿ha cambiado el modelo o solo usa información que tiene delante?

Vamos a seguir ese recorrido completo. Empezaremos por una palabra que falta y terminaremos con una forma práctica de reconocer de dónde sale una respuesta.

Qué significa aprender

Antes de entrar en el mecanismo conviene delimitar el terreno. No todos los modelos de lenguaje se entrenan igual. Aquí hablaremos de modelos autorregresivos, la familia que está detrás de buena parte de los generadores actuales. Autorregresivo quiere decir que el modelo construye una secuencia paso a paso, usando lo anterior para calcular lo siguiente.

Tampoco trabaja directamente con palabras enteras. Un tokenizador divide el texto en unidades llamadas tokens. Un token puede ser una palabra corta, una parte de otra más larga o un signo de puntuación. La división depende del sistema y del idioma. Incluso horno podría ser una unidad en un modelo y varias en otro.

Durante el preentrenamiento, el modelo trata de anticipar el token que sigue en muchos puntos de cada secuencia. El propio texto proporciona la respuesta correcta. La secuencia «La panadera metió» plantea una predicción; un poco más adelante, «La panadera metió el pan» plantea otra. Nadie tiene que etiquetar a mano cada posición. Por eso se habla de aprendizaje autosupervisado.

Aquí usaremos una definición estrecha. El modelo aprende cuando el entrenamiento produce cambios persistentes en sus parámetros y esos cambios mejoran su desempeño según el objetivo elegido. Los parámetros, también llamados pesos, son los números ajustables de la red neuronal. Cada actualización altera ligeramente algunos de ellos. Tras muchísimas actualizaciones, el comportamiento también cambia.

Esta definición describe algo observable. No afirma que el modelo aprenda como una persona, recuerde como nosotros o tenga una experiencia interior. De momento, aprender significa que los ejemplos modifican el sistema de manera duradera para que haga mejor una tarea concreta.

De la apuesta al error

Volvamos a la panadera. El modelo no entrega una única solución. Distribuye probabilidades entre todos los tokens posibles. Tal vez, al principio, dé un dos por ciento al token con el que empieza horno y un cinco por ciento a otro poco apropiado. Todavía no sabe qué opción merece confianza.

El texto sí contiene la continuación observada. El sistema la compara con sus probabilidades y calcula una medida del error llamada pérdida, loss en inglés. Si el modelo concedió poca probabilidad al token observado, la pérdida es grande. Si ya lo consideraba probable, es menor.

La pérdida no es una reprimenda ni una explicación. No dice que los panes suelen hornearse. Es un número que permite calcular qué cambios reducirían errores parecidos. En un entrenamiento real, muchas secuencias y posiciones se reúnen en un lote. Su error combinado guía una actualización conjunta.

El ejemplo no entra como una ficha con la etiqueta panadería. Contribuye a una señal matemática compartida. Su huella se mezcla con la de oraciones sobre hornos, recetas, metáforas y todo lo demás que haya en el lote.

Aquí aparece el límite central. La pérdida no comprueba si una oración es verdadera, sino si el modelo anticipó el texto que encontró. Una explicación rigurosa, un diálogo de ficción, un prejuicio y una afirmación falsa pueden servir como objetivos del mismo modo.

Eso no impide que el modelo aprenda regularidades verdaderas y útiles. La lengua y el mundo contienen patrones estables, y reconocerlos ayuda a anticipar el texto. Pero el mandato básico del preentrenamiento no es averiguar la verdad. Es predecir mejor. Por eso una respuesta puede sonar natural y segura sin estar bien fundada.

Cómo el error mueve los pesos

Ya tenemos una predicción y una medida de su error. Falta el paso decisivo: convertir esa medida en cambios dentro de una red con una cantidad enorme de parámetros.

El cálculo recorre hacia atrás el camino que produjo la predicción. Se llama retropropagación, backpropagation en inglés. Estima cómo cambiaría la pérdida si cada parámetro se moviera apenas un poco. Esas indicaciones forman el gradiente. No revela el modelo perfecto; señala una dirección local que debería reducir el error del lote actual.

Después actúa un optimizador. Toma esa dirección y decide el tamaño de la actualización. Imagina una mesa de mezclas descomunal. El gradiente indica qué controles deberían desplazarse un poco y en qué sentido. El optimizador da ese paso. Luego llega otro lote y el proceso vuelve a empezar.

La comparación tiene una frontera importante. No hay un control para horno, otro para la concordancia y otro para la capital de Francia. Las capacidades están distribuidas. Una predicción depende de muchas partes de la red, y un parámetro participa en multitud de predicciones. Los efectos de los ejemplos se superponen.

La frase de la panadera no se guarda en un cajón. Empuja ligeramente una estructura matemática enorme. Otras frases con construcciones o relaciones parecidas pueden empujarla en direcciones compatibles. Otros ejemplos actuarán de otro modo sobre los mismos pesos.

Este reparto permite generalizar ante combinaciones que nunca aparecieron exactamente en los datos. También dificulta señalar dónde reside una idea concreta. Cambiar unos pesos puede afectar varias conductas, y una nueva fase de entrenamiento puede mejorar una capacidad mientras altera otra.

El ciclo completo ya está a la vista: entran secuencias, salen probabilidades, la pérdida resume el error, la retropropagación calcula el gradiente y el optimizador modifica ligeramente los pesos. El preentrenamiento repite ese ciclo a gran escala.

Cuando el ejercicio se repite

Un ejemplo aislado apenas enseña algo fiable. Lo importante ocurre cuando el mismo tipo de ejercicio se extiende por una gran variedad de textos.

Para acertar el siguiente token no basta con mirar la palabra anterior. En una novela puede importar una promesa hecha varios párrafos antes. En un programa, un cierre debe corresponder a una estructura anterior. En una argumentación, la siguiente frase depende del razonamiento previo. Predecir bien recompensa las regularidades que mantienen esos hilos.

Con suficientes ejemplos, el modelo aprende patrones de gramática, estilo, código y relaciones entre conceptos. Puede completar formulaciones nuevas o combinar piezas de maneras que no estaban copiadas en un documento. Decir que solo repite frases almacenadas no describe esa capacidad.

Tampoco conviene afirmar que predecir obliga por sí solo a comprender. El entrenamiento exige representaciones internas que reduzcan el error, y pueden ser muy potentes. La palabra comprensión añade una cuestión filosófica que la pérdida no resuelve.

El resultado refleja la composición de los datos. Si un idioma, una comunidad o un campo aparecen poco, el modelo puede representarlos peor. Una colección enorme no borra sus sesgos, errores o huecos. Una frase muy repetida influye más, aunque eso no la vuelva cierta.

Un modelo también puede memorizar fragmentos concretos. Algunos han reproducido casi palabra por palabra pasajes distintivos o repetidos de sus datos. Memorizar y generalizar no son alternativas absolutas; pueden ocurrir a la vez.

Al acabar tenemos un modelo base que continúa texto con flexibilidad, pero no siempre responde como un buen asistente. Puede seguir un diálogo imaginario o extender la pregunta en vez de resolverla. También puede mostrarse seguro cuando debería reconocer su incertidumbre. Predecir continuaciones y ayudar son tareas relacionadas, no idénticas.

Capacidad, datos y cálculo

Los experimentos han encontrado mejoras bastante regulares al aumentar tres ingredientes: la capacidad del modelo, la cantidad de datos y el cálculo dedicado al entrenamiento. De ahí viene la expresión leyes de escalado.

La palabra ley suena más definitiva de lo que es. Son relaciones empíricas observadas dentro de ciertos rangos. No prometen el mismo avance en cada capacidad ni un progreso sin fin.

Los tres ingredientes dependen entre sí. Más parámetros dan espacio para patrones complejos, pero un modelo enorme con pocos datos puede aprovechar mal esa capacidad. Más datos tampoco sirven sin suficiente cálculo. Con una cantidad fija de cálculo hay que elegir entre ampliar el modelo y procesar más texto.

Un resultado influyente mostró ese equilibrio. Con un cálculo comparable, un modelo bastante más pequeño, entrenado con muchos más tokens, superó a modelos mayores que habían recibido pocos datos para su tamaño. La conclusión no fue que pequeño siempre gana, sino que mirar solo los parámetros conduce a errores.

La calidad añade otra dimensión. Un párrafo repetido no aporta muchas observaciones independientes. La duplicación puede fomentar la reproducción literal y contaminar una evaluación si materiales casi iguales aparecen en el entrenamiento y en la prueba. En experimentos controlados, eliminar duplicados redujo la memorización y mantuvo o mejoró la precisión con menos pasos.

Así que escalar no consiste simplemente en verter más texto sobre más parámetros. Hay que equilibrar capacidad, datos y cálculo, y cuidar qué contienen esos datos. Las cifras grandes importan. La relación entre ellas importa más.

Del modelo base al asistente

El modelo base sale del preentrenamiento con capacidades amplias, pero su objetivo ha sido continuar texto. Para acercarlo al comportamiento de un asistente se aplican nuevas fases. En inglés se agrupan bajo el nombre post-training. En español podemos hablar de postentrenamiento.

Una fase puede utilizar demostraciones preparadas con cuidado. El modelo ve una instrucción y una respuesta que ejemplifica la conducta deseada. Aprende que ante una solicitud de resumen conviene resumir, no continuarla como parte de una novela. Aprende formatos, tonos y maneras de reconocer límites. Se mide una pérdida y se actualizan pesos.

Otra fase puede partir de preferencias. Personas u otros sistemas comparan respuestas y ordenan cuáles parecen más útiles, correctas o seguras. Algunos métodos construyen un modelo que las puntúa y luego usan aprendizaje por refuerzo. Otros aprenden más directamente de los pares preferidos. Son recetas posibles, no pasos obligatorios.

Reducir el postentrenamiento a una capa de buenos modales sería engañoso. Puede cambiar si el modelo sigue una instrucción, organiza una explicación, expresa incertidumbre o rechaza una petición. También puede exigir compromisos. Una respuesta muy breve quizá omita un matiz; una excesivamente cauta quizá deje de ser útil. Mejorar una conducta no garantiza mejorar todas.

Tampoco garantiza la verdad. Los ejemplos seleccionados pueden contener errores, las preferencias humanas pueden discrepar y el criterio de evaluación siempre enfatiza unas propiedades sobre otras. El postentrenamiento orienta el comportamiento hacia ciertos objetivos. No convierte la salida en un hecho comprobado.

En la práctica, la frontera entre etapas puede ser difusa. Puede haber entrenamiento adicional con textos especializados, datos generados por otros modelos y varias rondas de ajuste. La distinción sigue siendo útil: el preentrenamiento crea una base amplia a partir de grandes colecciones de texto; el postentrenamiento moldea esa base para una forma concreta de interacción.

Tres fuentes para una respuesta

Cuando un asistente responde bien, la información decisiva puede venir de tres lugares distintos: los pesos entrenados, el contexto actual o una fuente externa que otro sistema acaba de consultar.

Los pesos son el resultado duradero del preentrenamiento y del postentrenamiento. Reflejan regularidades lingüísticas, habilidades y muchas asociaciones entre hechos. A veces se habla de memoria paramétrica, pero no es una biblioteca ordenada. El modelo no puede abrir un catálogo, localizar el documento original y enseñar la procedencia de una frase. Algunas asociaciones aparecen de forma fiable, otras dependen de la pregunta y otras salen mal.

El contexto es lo que se presenta al modelo para la respuesta actual: instrucciones, mensajes anteriores, documentos y la pregunta nueva. Unos ejemplos pueden cambiar mucho la conducta. El modelo parece aprender una tarea al vuelo y continúa el patrón. Sin embargo, normalmente sus pesos no cambian. Al terminar ese turno no ha ocurrido un aprendizaje permanente.

La tercera fuente es la recuperación de información, retrieval en inglés. Un buscador puede encontrar un informe reciente y colocar el pasaje pertinente en el contexto. El modelo responde con ese material delante. Se parece a la diferencia entre un examen sin apuntes y otro con los documentos adecuados sobre la mesa.

La comparación tiene límites. Los pesos no son memoria humana y tener el documento correcto no asegura que se use bien. La búsqueda puede traer el pasaje equivocado; el modelo puede malinterpretar uno correcto. La recuperación mejora la actualidad y facilita rastrear fuentes, pero la respuesta aún necesita comprobación.

La memorización complica aún más la imagen. Algunos fragmentos de entrenamiento, sobre todo los muy repetidos o peculiares, pueden reaparecer casi literalmente. Eso no transforma los pesos en un archivo fiable. No hay una lista completa de lo memorizado ni una forma segura de recuperar cada fragmento con su origen.

Si hoy le cuentas al asistente cuál es tu café favorito, la frase puede permanecer en el historial. El producto quizá la guarde en una memoria externa y la inserte la próxima vez. También podría usar ciertas interacciones en un entrenamiento futuro, según sus reglas. Son procesos distintos. Solo ese entrenamiento futuro modificaría los pesos. Contar algo una vez no suele reentrenar el modelo mientras conversas.

Una pregunta para llevarse

Regresemos al pan y al horno. El modelo espera esa continuación porque innumerables errores de predicción han ido modificando sus pesos. Ninguna actualización le entregó una regla completa. La estructura surgió de contribuciones pequeñas y distribuidas entre muchos ejemplos.

Llamar aprendizaje a ese proceso es razonable. Hay una adaptación duradera y el sistema puede generalizar. Pero el nombre no resuelve qué significa comprender. El mecanismo no demuestra que el modelo tenga intenciones, experiencia o conciencia. Tampoco basta para demostrar que esas cosas sean imposibles. Ajustar los pesos no zanja la discusión filosófica.

La postura útil evita dos extremos. Un modelo no es una mente humana en miniatura dentro de una máquina. Tampoco es un simple autocompletado que busca en una carpeta de frases. Es un sistema de predicción entrenado, capaz de formar representaciones complejas, generalizar y, a veces, memorizar.

Cuando una respuesta te sorprenda, prueba una pregunta de diagnóstico: ¿de dónde salió este comportamiento? Tal vez de los patrones adquiridos durante el preentrenamiento. Tal vez del postentrenamiento que enseñó al modelo a seguir instrucciones. Tal vez de algo escrito en la conversación actual. O tal vez de un documento que el sistema recuperó hace un instante.

Separar esas posibilidades cambia la manera de juzgar lo que ocurre. Si falta una noticia reciente, quizá haga falta una buena búsqueda, no volver a entrenar el modelo. Si el tono es inadecuado, puede ser cuestión de contexto o de postentrenamiento. Si una capacidad falla de manera persistente ante muchas formulaciones, quizá el límite esté en los pesos.

La idea esencial cabe en una frase. Un modelo de lenguaje autorregresivo aprende cuando sus errores al predecir el siguiente token producen cambios duraderos en sus pesos y esos cambios mejoran futuras predicciones. Lo que puede hacer después depende de la capacidad del modelo, de los datos, del cálculo, del postentrenamiento y de la información que recibe en cada momento.

La frase de la panadera ya está completa. Lo importante ahora no es solo que el modelo diga horno. Es entender qué tuvo que cambiar para que esa respuesta dejara de ser una casualidad.