📺 Vídeo de estudio recomendado hoy: https://www.youtube.com/watch?v=xmkSf5IS-zw
La Física del Cómputo: Cómo el Hardware Dicta el Futuro de la IA
¿Por qué los modelos de IA tienen las arquitecturas que vemos hoy y por qué los precios de las API se estructuran de esa manera? Reiner Pope, CEO de MatX y ex-arquitecto de TPUs en Google, desglosa las restricciones físicas de memoria y cómputo que definen el progreso tecnológico actual.
Pregunta central: ¿Cómo determinan los límites de ancho de banda y capacidad de los racks de GPUs el diseño de los modelos de lenguaje más avanzados?
Puntos clave
- El tamaño del lote (batch size) es el factor principal que equilibra la latencia y el costo en la inferencia.
- El “KV Cache” representa el mayor cuello de botella de memoria para contextos largos, limitando la eficiencia de los agentes.
- La arquitectura de los racks físicos (como el Blackwell NVL72) define los límites de los modelos de Mezcla de Expertos (MoE).
- Existe una convergencia sorprendente entre el diseño de protocolos criptográficos y la arquitectura de redes neuronales invertibles.
⏱️ Tiempo de lectura: aprox. 15 minutos · Te ahorra unos 119 minutos frente a ver el vídeo.
¿Quieres tomar notas mientras ves el vídeo? Haz clic en la imagen de abajo y deja que AI Notebook extraiga los puntos clave por ti 👇
La Economía del Batch Size y el Análisis Roofline
El equilibrio entre memoria y cómputo
La eficiencia de un modelo de IA no se mide solo por su inteligencia, sino por cómo gestiona el flujo de datos a través de la memoria del chip.
En un análisis de “roofline”, comparamos el rendimiento máximo de cómputo (FLOPs) frente al ancho de banda de la memoria; si el lote de usuarios (batch size) es demasiado pequeño, el hardware desperdicia tiempo esperando a que los pesos viajen desde la memoria, volviendo la operación absurdamente cara.
Para modelos masivos como DeepSeek, que utilizan arquitecturas de Mezcla de Expertos (MoE), el tamaño de lote ideal suele situarse cerca de los 2,000 a 3,000 tokens por paso; esto permite amortizar el costo de leer miles de millones de parámetros a través de múltiples secuencias simultáneas, logrando que el sistema pase de estar limitado por la memoria a estar limitado por la capacidad de cálculo pura, que es el estado óptimo de operación.
💡 Profundizando
Q: ¿Por qué no podemos simplemente aumentar el batch size indefinidamente para bajar costos?
A: Porque aumentar el lote incrementa la latencia; llega un punto donde el tiempo de espera para que el “tren” de tokens parta es demasiado largo para una experiencia de usuario aceptable.
Q: ¿Qué define la latencia mínima de un modelo?
A: El tiempo que toma leer todos los parámetros del modelo desde la memoria HBM al chip, lo cual suele tardar unos 20 milisegundos en el hardware moderno.
Q: ¿Cómo afecta la “escasez” (sparsity) al batch size?
A: Cuanto más disperso es un modelo (menos parámetros activos por token), mayor debe ser el batch size para mantener el chip ocupado y justificar la lectura de los pesos desde la memoria.
El Muro de la Memoria y el KV Cache
El peso del contexto en la inferencia
El KV Cache es la memoria interna que el modelo mantiene de todos los tokens pasados en una conversación para poder generar el siguiente.
A diferencia de los pesos del modelo, que son compartidos por todos los usuarios, el KV Cache es único para cada secuencia y debe almacenarse por separado.
Esto crea un problema de escalabilidad masiva: mientras que los parámetros del modelo pueden dividirse eficientemente entre varios racks de GPUs usando paralelismo de tubería (pipeline parallelism), el KV Cache consume una cantidad constante de memoria por usuario que no se puede amortizar, convirtiéndose en el factor dominante que limita la longitud del contexto y la cantidad de usuarios concurrentes que un solo servidor puede manejar sin colapsar.
💡 Profundizando
Q: ¿Por qué las API cobran más por contextos largos?
A: Porque a partir de cierto punto (como 200k tokens), el costo de leer el KV Cache de la memoria supera el costo del cómputo, obligando a las empresas a subir precios para mantener el margen.
Q: ¿Podemos usar memorias más baratas para el KV Cache?
A: Sí, se pueden usar jerarquías que incluyan DDR o memoria Flash, pero el tiempo de recuperación es mucho más lento, lo que introduce retrasos significativos en la respuesta del modelo.
Q: ¿Qué es la “rematerialización” en este contexto?
A: Es la técnica de borrar el KV Cache y volverlo a calcular desde cero si el usuario vuelve a preguntar después de mucho tiempo, lo cual es más barato que pagar por el almacenamiento persistente en memorias ultrarrápidas.
Paralelismo de Racks e Interconectividad
La física del silicio y los cables
Un rack de GPUs moderno, como el Blackwell de Nvidia, es esencialmente una supercomputadora en un solo bloque que intenta maximizar el “scale-up” o conectividad interna.
Dentro de un rack, las GPUs se comunican mediante NVLink, una red hasta ocho veces más rápida que las conexiones externas tradicionales, permitiendo que un modelo de Mezcla de Expertos distribuya sus neuronas entre 72 chips como si fueran uno solo.
Sin embargo, en cuanto el modelo es tan grande que requiere dos racks, la velocidad cae drásticamente debido a los límites de los cables de red externos; esta es la razón por la que Nvidia y Google están obsesionados con meter la mayor cantidad de potencia posible en un solo dominio de interconexión física, ya que cruzar la frontera del rack es el “impuesto” más caro que una IA puede pagar en términos de rendimiento.
💡 Profundizando
Q: ¿Qué es el paralelismo de expertos (Expert Parallelism)?
A: Es asignar diferentes “expertos” de un modelo MoE a diferentes GPUs; es muy eficiente dentro de un rack porque el patrón de comunicación es de “todos contra todos”.
Q: ¿Por qué es tan difícil diseñar estos racks?
A: Por la densidad de cables, el peso físico de las estructuras de cobre y la inmensa cantidad de energía y enfriamiento líquido que requieren en un espacio tan reducido.
Q: ¿El paralelismo de tubería ayuda en la inferencia?
A: Ayuda a que el modelo quepa en la memoria de varios racks, pero no mejora la latencia; de hecho, puede empeorarla debido a los saltos adicionales entre servidores.
Conclusiones Clave
El progreso de la inteligencia artificial no es solo una cuestión de algoritmos matemáticos, sino de una danza compleja con las limitaciones físicas del hardware. Hemos aprendido que el diseño de los modelos actuales, especialmente el auge de los modelos de Mezcla de Expertos, es una respuesta directa a la necesidad de equilibrar el inmenso poder de cómputo de las GPUs con el relativo estancamiento en el ancho de banda de la memoria HBM.
A medida que buscamos agentes de IA más capaces, el desafío se traslada a la gestión del contexto. El KV Cache se ha revelado como el verdadero “muro” que debemos escalar; las arquitecturas futuras probablemente dependerán de innovaciones en la jerarquía de memoria y en métodos de atención dispersa que permitan procesar millones de tokens sin que el costo operativo se vuelva prohibitivo para las empresas y los usuarios.
Finalmente, la convergencia entre la criptografía y las redes neuronales sugiere que estamos encontrando principios universales sobre cómo procesar y mezclar información. Ya sea para ocultar un secreto en un hash o para extraer conocimiento de un billón de palabras, las estructuras de flujo de datos están convergiendo hacia diseños que maximizan la interconectividad y la eficiencia, preparando el terreno para la siguiente escala de la computación.
Preguntas y Respuestas
Q1: ¿Por qué el pre-llenado (prefill) es más barato que la generación de tokens (decode) en las API?
A1: El prefill procesa muchos tokens a la vez, lo que satura la capacidad de cómputo y hace que el costo de mover datos desde la memoria sea insignificante. El decode procesa un token a la vez, lo que obliga a leer todos los pesos de la memoria para una sola operación matemática, siendo mucho menos eficiente.
Q2: ¿Podemos pagar 100 veces más para obtener respuestas 100 veces más rápidas?
A2: No. Hay un límite físico de latencia determinado por el tiempo que tarda la memoria en entregar los datos al chip. Incluso con un batch size de uno y el hardware más rápido, no se puede ir más rápido que la velocidad de lectura de la memoria HBM.
Q3: ¿Qué son las RevNets y qué tienen que ver con los ciphers criptográficos?
A3: Son redes neuronales invertibles inspiradas en las redes de Feistel (usadas en ciphers como DES). Permiten reconstruir las activaciones de las capas anteriores durante el entrenamiento, ahorrando memoria al no tener que guardarlas todas en la HBM.
Q4: ¿Cómo se decide si un modelo está “sobre-entrenado”?
A4: Se intenta equilibrar el costo del entrenamiento con el costo proyectado de la inferencia. Si vas a tener millones de usuarios, vale la pena gastar mucho más en entrenar un modelo pequeño y eficiente (sobre-entrenarlo más allá de las leyes de Chinchilla) para ahorrar miles de millones en costos operativos futuros.
Q5: ¿Cuál es el impacto real de la escasez (sparsity) en modelos como DeepSeek?
A5: La escasez permite tener un modelo con muchos parámetros totales (capacidad de conocimiento) pero pocos parámetros activos por token (velocidad de cómputo). Esto reduce el costo por token, pero exige un manejo mucho más sofisticado del tráfico en el rack de GPUs.
Q6: ¿Por qué el tamaño del dominio de interconexión (scale-up) de Nvidia es tan importante?
A6: Porque permite que el modelo crezca en tamaño sin perder velocidad. Si un modelo puede funcionar enteramente dentro de un rack usando NVLink, será órdenes de magnitud más rápido y eficiente que uno que tenga que enviar datos constantemente a través de cables de red de centro de datos.
