Double Espresso: Entrenamiento e inferencia

Entrenamiento e inferencia: ¿cuál es la diferencia?

Lees dos titulares el mismo día. En el primero, una empresa acaba de entrenar su modelo más grande hasta la fecha. En el segundo, alguien celebra que la inferencia se haya vuelto mucho más barata. Las dos frases hablan de inteligencia artificial y suenan casi intercambiables, pero describen dos actividades distintas, que ocurren en momentos distintos y se pagan de manera distinta.

Conviene tener las dos definiciones desde el principio.

El entrenamiento fabrica o modifica el modelo. Un proceso de entrenamiento recibe ejemplos, o alguna otra forma de señal, mide cuánto se equivoca y ajusta los parámetros del modelo —esos números internos que también llamamos pesos— para que se equivoque menos. En inglés esta etapa se llama training, y así vas a encontrarla escrita en casi toda la documentación técnica.

La inferencia usa el modelo ya entrenado. Le llega una entrada nueva y calcula una salida: una puntuación, una etiqueta, una traducción, una respuesta. En inglés, inference. Cuando alguien dice que una empresa atiende millones de consultas al día, está hablando de inferencia repetida millones de veces.

Un apunte de vocabulario, porque puede confundir: en estadística, la palabra inferencia tiene un sentido técnico más amplio. Aquí hablamos del uso habitual en el aprendizaje automático, que es aplicar un modelo ya entrenado.

Vamos a un ejemplo concreto: un modelo pequeño que puntúa correo basura, eso que solemos llamar spam.

Durante el entrenamiento ve muchos mensajes acompañados de una indicación: este es basura, este no. Con cada tanda de ejemplos, el proceso mueve un poco los parámetros hasta que las puntuaciones se parecen razonablemente a esas indicaciones. Cuando el entrenamiento termina, queda un modelo: una estructura con unos números ajustados.

Después llega el lunes por la mañana y entra un mensaje que el modelo nunca vio. Lo puntúa. Eso es inferencia. Y fíjate en todo lo que pasa alrededor sin tocar el modelo: el umbral a partir del cual un mensaje se considera sospechoso, la decisión de mandarlo a una carpeta en lugar de borrarlo, el aviso que te pide confirmación. Eso es lógica del producto, no aprendizaje.

Aquí está la distinción que más se pierde en las conversaciones cotidianas.

Cuando le escribes una instrucción larga y detallada a un asistente de conversación —lo que en inglés se llama prompt— cambias radicalmente lo que sale. Pero no cambias el modelo. Ese texto entra como entrada, junto con el resto del contexto de la conversación. Si el producto guarda lo que dijiste hace diez minutos y lo vuelve a poner delante del modelo, eso es contexto. Si busca un documento en un archivo de la empresa y coloca el fragmento relevante en la entrada, eso es recuperación de documentos. Y si consulta una herramienta o una página web, sigue siendo material que alguien pone en la entrada.

Todo eso puede transformar por completo la respuesta. Nada de eso modifica los pesos aprendidos.

La consecuencia práctica es doble. Un prompt más largo significa más trabajo de inferencia, no más entrenamiento. Y la memoria que un producto parece tener sobre ti puede ser, simplemente, un texto que el sistema guarda por él y le vuelve a mostrar.

De ahí sale el malentendido más común: la idea de que el modelo aprende en el momento. Que si lo corriges, ya lo sabe. Que si le cuentas algo, queda grabado dentro.

Normalmente no funciona así. Corregirlo puede mejorar la conversación que tienes ahora, porque tu corrección forma parte de la entrada. Pero los parámetros no se reescriben mientras hablas. Lo que sí puede ocurrir, y es otra cosa, es que una valoración o una interacción se guarde y se utilice más adelante, en una tanda de entrenamiento posterior. La mejora llegaría entonces en una versión siguiente del modelo, no de forma instantánea en tu charla de esta tarde. Y eso depende por completo de lo que cada servicio haga con esos datos.

Con una salvedad honesta: la separación entre entrenar y usar es la práctica habitual, pero no constituye una ley del universo. Existen sistemas diseñados para actualizarse de forma continua con datos nuevos. Lo que no conviene suponer es que cualquier asistente lo haga por defecto.

Tampoco es cierto que el entrenamiento sea un acontecimiento único: un modelo puede pasar por un preentrenamiento enorme y, más tarde, por ajustes adicionales. Ni es cierto que la inferencia salga gratis porque el entrenamiento ya terminó. Entrenar un modelo grande es un trabajo concentrado y carísimo. La inferencia se paga en cada solicitud, y sumada a lo largo de meses de servicio a mucha gente, la factura acumulada también puede ser enorme. Cuál de las dos pesa más depende del horizonte de tiempo que estés midiendo.

En los modelos que generan texto la división se mantiene igual. El entrenamiento les deja dentro patrones estadísticos muy amplios del lenguaje. La inferencia es el cálculo que, a partir de tu texto y del contexto, produce el siguiente fragmento, y luego el siguiente, hasta completar la respuesta.

¿Por qué importa esto fuera de la definición? Porque casi cualquier pregunta útil sobre inteligencia artificial se aclara en cuanto eliges el lado correcto. Si un asistente no conoce una noticia de hoy, la pregunta es si el sistema puede buscarla y ponerla en la entrada, no si hay que entrenar el modelo otra vez. Si una respuesta te parece mala, ayuda saber si se arregla con mejores instrucciones y mejor información, o si hace falta un modelo diferente. Y cuando escuches promesas sobre costos, pregunta si hablan de fabricar el modelo o de atender cada consulta.

Quédate con esta imagen: entrenar es afinar el instrumento; hacer inferencia es tocarlo. Se afina en momentos concretos, con esfuerzo y con intención. Se toca muchísimas veces. Y por bien o por mal que salga una pieza, el instrumento no se afina solo mientras suena.