Sunday Latte: Por qué la inteligencia artificial necesita tanta capacidad de cálculo

Una pregunta pequeña

Escribimos una pregunta breve y, pocos segundos después, aparece una respuesta completa. Desde nuestro lado de la pantalla, el esfuerzo parece mínimo. Sin embargo, para crear y operar los modelos más grandes hacen falta salas llenas de aceleradores, enormes memorias y conexiones de alta velocidad. ¿Cómo puede una respuesta tan ligera necesitar una máquina tan pesada?

Conviene empezar con un límite claro. No todos los sistemas de inteligencia artificial son grandes modelos de lenguaje. Un programa especializado en detectar una anomalía concreta puede funcionar con recursos modestos. Aquí nos ocuparemos sobre todo de los modelos que generan texto de manera progresiva y que aplican muchas capas de cálculo a cada fragmento de la conversación.

En esos modelos hay dos facturas distintas. La primera corresponde al entrenamiento, cuando el sistema aprende una enorme colección de valores numéricos llamados pesos. La segunda llega durante el uso, cuando esos pesos se aplican a una pregunta y a cada nueva parte de la respuesta. Una es una gran inversión inicial. La otra es menor, pero se repite cada vez que alguien pregunta.

Un modelo de lenguaje es, en esencia, una función numérica gigantesca aprendida a partir de datos. No busca en todo su material de entrenamiento cada vez que responde. Ejecuta una cadena de operaciones sencillas. La dificultad no está en una operación aislada, sino en la cantidad de veces que se repite y en todo lo que debe moverse entre la memoria, los procesadores y, a menudo, varias máquinas.

Por eso, hablar de cálculo no es hablar de una sola cifra. Importan las operaciones realizadas, el tiempo de espera, la memoria disponible, la velocidad con la que circulan los datos y el grado de aprovechamiento del equipo. La respuesta que vemos es el último paso de un proceso mucho más amplio.

Cuando el lenguaje se vuelve números

Para entrar en el modelo, una frase se divide en pequeñas unidades llamadas tokens. Una unidad puede ser una palabra, una parte de una palabra o un signo de puntuación. Después, cada una se convierte en un vector, es decir, una lista ordenada de números. Esos números no son una definición de diccionario. Son una representación aprendida que permite trabajar con relaciones dentro del texto.

Los vectores atraviesan muchas capas y cambian en cada una. Un mecanismo central es la atención. De forma simplificada, el modelo crea varias representaciones de cada unidad y las compara con el contexto. Así puede dar más importancia a un nombre que apareció varias frases antes o relacionar una conclusión con una premisa lejana. A continuación, otras transformaciones numéricas procesan cada posición.

Gran parte de este trabajo se reduce a multiplicaciones de matrices, grandes tablas de números. Multiplicar y sumar dos valores es una operación diminuta. Pero aquí se hace para muchísimos valores a la vez, en muchas capas, para cada fragmento de texto y para cada solicitud. La operación elemental no es extraordinaria. Lo extraordinario es su repetición a gran escala.

Los procesadores de propósito general deben resolver tareas muy variadas. Los procesadores gráficos y otros aceleradores especializados dedican muchos más recursos a realizar operaciones numéricas en paralelo. Por eso encajan bien con las matrices. No son más rápidos para cualquier programa. Su ventaja aparece cuando el trabajo se puede organizar en bloques grandes, regulares y simultáneos.

Incluso entonces, la velocidad máxima anunciada para un chip es solo un techo. Para acercarse a ella, las unidades de cálculo deben recibir datos sin interrupción. Si la memoria no responde con suficiente rapidez, si las operaciones tienen una forma poco adecuada o si un dispositivo espera a otro, parte del equipo queda ocioso. El acelerador aporta fuerza bruta, pero el sistema completo decide cuánto de esa fuerza se convierte en una respuesta rápida.

Aprender a base de correcciones

Durante el entrenamiento, el modelo recibe un fragmento de texto e intenta predecir qué unidad vendrá después. Su predicción se compara con el texto real y se calcula un error. Luego, ese error se propaga hacia atrás por las capas para calcular cómo debería cambiar cada peso. Un procedimiento de optimización aplica una pequeña corrección.

La secuencia se repite sin descanso: predecir, medir el error, calcular correcciones y actualizar los pesos. Después llega otro grupo de ejemplos. En un modelo denso convencional, una buena aproximación mental es que el trabajo crece tanto con el número de parámetros como con la cantidad de texto de entrenamiento. No es una tarifa universal para toda arquitectura, pero explica por qué aumentar ambas cosas resulta tan costoso.

Además, aprender requiere mucha más memoria que conservar el modelo terminado. Durante el cálculo hay que guardar numerosos resultados intermedios o volver a obtenerlos más tarde. También se almacenan las direcciones de cambio de los pesos y el estado adicional del optimizador. Un modelo que cabe en unas pocas máquinas durante su uso puede necesitar muchas más mientras se entrena.

Los pesos no forman un archivo ordenado de frases. Recogen regularidades estadísticas que el modelo ha encontrado en los datos. Eso le permite construir una respuesta nueva en un contexto nuevo. También explica por qué puede producir una afirmación fluida y convincente que no sea cierta. El cálculo perfecciona la predicción que define el entrenamiento, pero no convierte por sí solo esa predicción en conocimiento comprobado.

La calidad de los datos importa tanto como su cantidad. Duplicados, errores, sesgos o ejemplos poco relevantes pueden consumir recursos sin enseñar lo necesario. También importa el objetivo usado para entrenar. El modelo aprende a mejorar aquello que el procedimiento recompensa. No descubre automáticamente qué considerará una persona verdadero, útil o prudente. El cálculo hace posible el aprendizaje; no elige por sí mismo qué merece aprenderse.

Crecer con equilibrio

Una parte notable del progreso reciente ha seguido un patrón regular. Al aumentar el tamaño del modelo, los datos y el cálculo de entrenamiento, el error medio solía disminuir de forma predecible. Estas relaciones observadas reciben el nombre de leyes de escala. Ayudan a estimar qué puede ocurrir dentro de ciertas familias de modelos y dentro de los intervalos que se han medido.

La palabra observadas es importante. No son leyes físicas ni prometen que toda habilidad mejore al mismo ritmo. Una tendencia puede cambiar cuando cambian la arquitectura, la calidad de los datos, el método de entrenamiento o la evaluación. Un descenso suave del error medio tampoco garantiza que cada respuesta concreta sea mejor.

Un experimento muy conocido mostró que no basta con construir el modelo más grande posible. Un modelo llamado Chinchilla tenía setenta mil millones de parámetros, mientras que otro modelo anterior tenía doscientos ochenta mil millones. Chinchilla recibió aproximadamente cuatro veces más datos y, con un esfuerzo de entrenamiento parecido, logró mejores resultados en las evaluaciones comunicadas. El modelo menor aprovechó mejor el mismo presupuesto porque tuvo más oportunidades de aprender.

La conclusión no es que exista una proporción perfecta para siempre. La mezcla adecuada depende de la arquitectura, la repetición y calidad de los datos, la modalidad y el uso posterior. La lección es más general: aumentar solo los parámetros puede desperdiciar cálculo si el entrenamiento es demasiado corto o si los datos se convierten en el verdadero límite. Tamaño, material y duración deben crecer con cierto equilibrio.

Las leyes de escala también describen rendimientos decrecientes. Para conseguir otra pequeña reducción del error, a menudo hay que multiplicar los recursos. Eso no significa que la escala haya dejado de funcionar. Una mejora pequeña puede tener mucho valor en una aplicación importante. Significa que el progreso predecible puede volverse cada vez más caro y que gastar más no garantiza que el resultado sea verdadero, útil o digno de su coste.

El uso futuro también modifica la decisión. Un modelo menor, entrenado durante más tiempo, puede resultar más barato en cada consulta. Con millones de solicitudes, ese ahorro se acumula. Si apenas se utilizará, quizá no compense la inversión adicional. La opción adecuada depende de toda la vida del modelo, no solo de la carrera por entrenarlo.

El atasco invisible

Imaginemos un modelo con setenta mil millones de pesos. Si cada uno se guarda con dos bytes, solo esos pesos ya ocupan unos ciento cuarenta gigabytes. Aún faltan los resultados intermedios, la memoria para las conversaciones activas y, durante el entrenamiento, las correcciones y el estado del optimizador. Un solo acelerador puede quedarse pequeño antes de empezar el trabajo real.

Por eso, los modelos grandes se reparten entre muchos dispositivos. Se pueden dividir los datos, las capas o incluso las matrices. Los dispositivos deben intercambiar resultados y sincronizarse en determinados momentos. Añadir aceleradores aumenta la capacidad teórica, pero también crea más comunicación. Si una conexión es lenta o el reparto está desequilibrado, unas unidades terminan pronto y esperan a las demás.

Dentro de cada acelerador existe otro recorrido. Muy cerca de las unidades de cálculo hay una memoria pequeña y rapidísima. Más lejos hay una memoria mucho mayor, pero más lenta. La capacidad determina si el trabajo cabe. El ancho de banda determina con qué rapidez llegan los datos. Tener espacio suficiente no significa poder alimentarlo todo a tiempo.

Una mejora moderna del mecanismo de atención ofrece una lección sorprendente. Al reorganizar la misma operación para leer y escribir menos veces en la memoria externa, consiguió ejecutarla con mayor rapidez. En algunos momentos incluso conviene volver a calcular un resultado en lugar de conservarlo. Se hacen más operaciones aritméticas, pero se mueven menos datos y el proceso termina antes.

Por tanto, contar operaciones no basta para predecir la velocidad. El movimiento puede ser más caro que el cálculo. La memoria, las conexiones entre máquinas, el programa y el equilibrio de la carga forman parte del rendimiento. Un chip muy rápido que espera datos es un chip caro que no está trabajando.

Lo que ocurre después de preguntar

Una vez terminado el entrenamiento, una consulta normal no modifica los pesos. Aun así, debe aplicarlos muchas veces. Primero, el modelo procesa la pregunta y el contexto anterior. Durante esta fase puede trabajar con muchas unidades de la entrada en paralelo. Cuanto más largo sea el contexto, más cálculo y más memoria hacen falta antes de que aparezca la primera palabra nueva.

Después comienza la generación. El modelo calcula qué unidad podría venir a continuación, elige una y la incorpora al texto. Solo entonces puede calcular la siguiente, porque cada paso depende de lo que acaba de producirse. Esa dependencia hace que la salida sea parcialmente secuencial. Se pueden acelerar las operaciones de cada paso, pero no obtener libremente una palabra futura antes de decidir las anteriores.

Para no repetir todo el cálculo del contexto, el sistema conserva ciertos resultados intermedios de la atención. A menudo se describen como claves y valores. Esta memoria temporal pertenece a la secuencia actual. No es el conocimiento aprendido del modelo ni una memoria permanente de la conversación. Crece con la longitud de la conversación y con el número de solicitudes atendidas al mismo tiempo.

Administrar ese espacio es una parte central del servicio. La memoria libre puede quedar partida en huecos poco útiles. Un buen sistema la reparte de forma flexible y reúne varias solicitudes para procesarlas juntas. Los grupos grandes permiten aprovechar mejor el acelerador y producir más texto en el mismo tiempo.

Pero aquí surge una disyuntiva. Esperar a formar un grupo puede aumentar el tiempo que una persona tarda en recibir su respuesta. Maximizar el número total de tokens por minuto no es lo mismo que minimizar la espera individual. El diseño debe equilibrar rendimiento general y rapidez percibida.

Una respuesta aislada puede ser barata y, sin embargo, el servicio completo puede ser enorme. Entradas, salidas, conversaciones largas, nuevos intentos y herramientas se van sumando. El entrenamiento concentra una gran factura al principio. La inferencia, que es el uso del modelo ya entrenado, repite pequeñas facturas. Cuál domina con los años depende del tráfico, el tamaño del modelo, las respuestas y su vida útil.

Más cálculo para las preguntas difíciles

Un sistema también puede gastar más cálculo en una pregunta especialmente difícil. Puede desarrollar un camino más largo, revisar una conclusión, generar varias soluciones candidatas o pedir a otro componente que las evalúe. Estas estrategias no cambian el entrenamiento original. Añaden trabajo en el momento de responder.

A veces se habla de cálculo durante el razonamiento. La expresión puede resultar engañosa si sugiere que producir más texto equivale siempre a pensar mejor. Un recorrido largo puede repetir una idea equivocada. Muchas respuestas casi idénticas aportan poca diversidad. Y un verificador solo es útil si sabe distinguir una solución sólida de una que simplemente parece convincente.

Los resultados experimentales indican que la estrategia adecuada depende mucho de la dificultad. Una pregunta sencilla puede no mejorar con un gran presupuesto adicional. Un problema complejo puede beneficiarse de varios intentos o de una revisión guiada. Por eso, asignar el mismo esfuerzo a todas las consultas suele ser menos eficiente que adaptarlo a cada caso.

También aquí hay rendimientos decrecientes. La primera revisión puede detectar un fallo claro; muchas revisiones posteriores quizá solo confirmen lo mismo. Más cálculo ofrece otra herramienta para mejorar una respuesta, no una garantía. No sustituye una fuente fiable, un objetivo bien definido ni una forma válida de comprobar el resultado.

Potencia, energía y precio

Las conversaciones sobre el impacto de la inteligencia artificial suelen mezclar magnitudes distintas. La potencia indica el ritmo al que se utiliza energía en un instante. La energía es esa potencia acumulada durante un periodo. Un acelerador puede demandar más potencia mientras funciona y aun así gastar menos energía para completar una tarea, si termina mucho antes.

Las emisiones son otra cuestión. La misma cantidad de energía puede asociarse a emisiones diferentes según el lugar, la hora y la forma de generar electricidad. El precio tampoco es una traducción directa del consumo eléctrico. Un servicio paga por chips, memoria, redes, refrigeración, edificios, personal y capacidad reservada que no siempre está ocupada.

Incluso medir una sola pregunta exige decidir qué se incluye. ¿Contamos únicamente el acelerador durante la generación? ¿Incluimos también el procesador que prepara la solicitud, la memoria, la red, la refrigeración y una parte de las máquinas que esperan? En una medición reciente de un gran servicio comercial, el resultado fue más del doble al incluir el sistema completo en lugar de un límite más estrecho. No era una cifra universal para cualquier pregunta. Era una demostración de que el límite de la medición cambia la respuesta.

La escala individual y la escala colectiva tampoco son intercambiables. Una consulta breve puede necesitar poca energía. Millones de consultas, contextos más largos y nuevas aplicaciones pueden sumar una demanda considerable. Además, los centros de datos se concentran en lugares concretos. Una demanda pequeña como proporción mundial puede ser importante para una red eléctrica local.

Tampoco tiene sentido tomar toda la electricidad de todos los centros de datos y dividirla entre una cifra estimada de preguntas. Esos centros realizan muchas otras tareas y las consultas de inteligencia artificial varían mucho. Una respuesta corta de un modelo pequeño no es equivalente a una respuesta larga de un modelo enorme.

Una comparación seria debe especificar el modelo, la longitud del texto, el equipo, su utilización, el lugar y el límite de la medición. Operaciones, tiempo, potencia, energía, emisiones y dinero están relacionados, pero no significan lo mismo. Separarlos evita que un número preciso dé una falsa sensación de certeza.

La cantidad adecuada

Hay muchas formas de mejorar la eficiencia. Un modelo menor puede resolver las tareas sencillas. La destilación permite que un modelo compacto aprenda parte del comportamiento de otro mayor. La cuantización guarda los pesos con menos precisión, lo que reduce el espacio y el movimiento de datos. Puede acelerar el uso, pero una reducción excesiva puede perjudicar la calidad y no todos los equipos aprovechan igual ese formato.

Algunas arquitecturas activan solo una parte de sus componentes especializados para cada unidad de texto. Otros métodos dejan que un modelo pequeño proponga varias unidades y que el modelo principal las compruebe juntas. Una mejor gestión de la memoria permite agrupar más solicitudes. Los algoritmos pueden evitar movimientos innecesarios y los nuevos aceleradores pueden realizar más trabajo por cada unidad de energía.

Ninguna técnica elimina todos los compromisos. Los componentes que no se activan todavía deben almacenarse. Los grupos de solicitudes mejoran el rendimiento total, pero pueden aumentar la espera. La menor precisión ahorra memoria, aunque puede afectar a una tarea delicada. Cuando desaparece un cuello de botella, otro puede convertirse en el límite.

Además, existe una paradoja económica. Si generar una respuesta se vuelve mucho más barato, el consumo total no tiene por qué bajar. Pueden aparecer más usuarios, conversaciones más largas, más candidatos por respuesta y aplicaciones que antes no eran viables. El cálculo ahorrado en un entrenamiento puede invertirse en otro más ambicioso. La eficiencia reduce el coste de una tarea fija. La demanda total depende de lo que decidamos hacer después.

Volvamos a la pregunta breve del comienzo. Su respuesta nace de pesos aprendidos mediante incontables correcciones, de matrices aplicadas una y otra vez, de datos que recorren memorias y conexiones, y de decisiones sobre precisión, velocidad y calidad. No hay un único acto misterioso. Hay una gran función numérica y un sistema cuidadosamente organizado para aplicarla.

El cálculo es necesario para los métodos actuales, pero no es suficiente para crear buena inteligencia artificial. Más máquinas no aportan pruebas que faltan, no eligen un objetivo sensato y no convierten una respuesta probable en una respuesta verdadera. La pregunta útil no es cuánto cálculo podemos acumular, sino qué combinación de modelo, datos, algoritmos, equipo y tiempo alcanza la calidad necesaria de forma fiable. La cantidad adecuada, bien empleada.