📺 Vídeo de estudio recomendado hoy: https://www.youtube.com/watch?v=ig5RNJJaFJE

La Biología de los LLM: Descifrando los “Órganos” Internos de la IA

¿Qué sucede realmente dentro de un modelo de lenguaje cuando intenta resolver un acertijo o escribir un poema? Anthropic ha logrado mapear los circuitos neuronales de Claude, revelando cómo la IA planifica sus respuestas y organiza el conocimiento de forma lógica.

Pregunta central: ¿Es posible descomponer la “caja negra” de un LLM en componentes interpretables que expliquen su razonamiento paso a paso?

Puntos clave

• El paso de los Autoencoders Dispersos (SAE) al “Entrenamiento de Circuitos” permite una interpretación capa por capa.
• Se ha demostrado que los modelos realizan razonamientos de varios pasos de forma interna antes de emitir un token.
• La IA planifica las rimas de sus poemas con antelación, activando conceptos futuros antes de escribirlos.
• Las alucinaciones ocurren por un “fallo de encendido” entre los circuitos de conocimiento conocido y los de rechazo.

⏱️ Tiempo de lectura: aprox. 7 minutos · Te ahorra unos 49 minutos frente a ver el vídeo.

¿Quieres tomar notas mientras ves el vídeo? Haz clic en la imagen de abajo y deja que AI Notebook extraiga los puntos clave por ti 👇

Del SAE al Entrenamiento de Circuitos

La evolución hacia los Transcodificadores

Anthropic ha evolucionado sus técnicas de interpretabilidad mecanística para ir más allá de la simple identificación de características aisladas.

Originalmente, se utilizaban Autoencoders Dispersos (SAE) para encontrar conceptos como “Golden Gate” en una sola capa, pero el nuevo enfoque de Entrenamiento de Circuitos (Circuit Training) permite crear un modelo de reemplazo local. Este modelo imita al original capa por capa, sustituyendo las redes feed-forward (MLP) por transcodificadores que mantienen la dispersión de los datos.

Este proceso implica congelar las capas de atención y entrenar el transcodificador con una pérdida de reconstrucción para que el resultado sea idéntico al del modelo original. El objetivo es que solo unas pocas “características” se activen por cada token, permitiendo que los investigadores rastreen exactamente cómo fluye la información a través de la arquitectura del transformador sin alterar el comportamiento final del modelo que están estudiando.

💡 Profundizando

Q: ¿Por qué se congelan las capas de atención durante este proceso?
A: Para evitar que el entrenamiento del transcodificador altere la lógica fundamental del modelo; solo queremos traducir las capas MLP a un formato interpretable.

Q: ¿Qué tan costoso es este entrenamiento?
A: Es intensivo; por ejemplo, entrenar un transcodificador para un modelo de 9 mil millones de parámetros puede requerir hasta 4,000 horas de GPUs H100.

Q: ¿Qué es la “pérdida de reconstrucción”?
A: Es la métrica que asegura que el modelo de reemplazo produzca exactamente el mismo output que el modelo original frente a una misma entrada.

El Razonamiento Interno de la IA

El caso de la capital de Texas

Cuando preguntamos a Claude “¿Cuál es la capital del estado que incluye a Austin?”, el modelo realiza un proceso de razonamiento interno de dos etapas que ahora es visible.

Primero, el modelo activa características relacionadas con Dallas o Austin y las vincula con el nodo del estado de Texas. Posteriormente, este nodo de “Texas” se conecta con un circuito de “decir capital”, lo que finalmente resulta en el token “Austin”. Mediante grafos de atribución, los investigadores han demostrado que estas conexiones existen físicamente como rutas de activación que atraviesan las capas del modelo.

Al “pinzar” o forzar artificialmente la característica de California sobre la de Texas en este circuito, el modelo cambia instantáneamente su respuesta a Sacramento.

Este experimento demuestra que el conocimiento no está disperso de forma caótica en los pesos de la red, sino estructurado en nodos conceptuales que pueden ser manipulados individualmente. Si eliminamos manualmente la característica de “estado”, el modelo se confunde y no puede completar el segundo paso de su cadena lógica, perdiendo la capacidad de responder correctamente a pesar de conocer los datos.

Planificación de Poemas y Alucinaciones

Anticipándose al futuro del texto

Un hallazgo sorprendente es que Claude planea sus rimas mucho antes de escribirlas en la pantalla.

Incluso antes de terminar una estrofa, los circuitos internos ya están pre-activando palabras candidatas que rimen con el final previsto. Por ejemplo, al escribir sobre un conejo (rabbit), el modelo activa la característica de “hábito” (habit) o “zanahoria” (carrot) en los espacios en blanco previos, mostrando una capacidad de planificación que desafía la idea de que los LLM solo predicen el siguiente token de forma miope.

La IA no improvisa sobre la marcha; está mirando hacia adelante en su espacio latente para cumplir con restricciones métricas y semánticas.

Respecto a las alucinaciones, los investigadores descubrieron un conflicto entre los circuitos de “respuesta conocida” y los de “entidad desconocida”. Cuando un modelo alucina, suele ser porque el circuito de respuesta conocida se dispara erróneamente ante un nombre que no reconoce, forzando una respuesta plausible pero falsa en lugar de activar el mecanismo de rechazo. El ajuste fino (RLHF) intenta fortalecer el circuito de “no lo sé”, pero la tendencia natural del modelo base sigue siendo completar el patrón.

Conclusiones clave

El trabajo de Anthropic en interpretabilidad mecanística está transformando nuestra comprensión de las redes neuronales de cajas negras a sistemas de circuitos lógicos. Al identificar cómo se activan características específicas en diferentes capas, no solo podemos entender por qué una IA comete errores, sino que también podemos intervenir directamente en su proceso de pensamiento para corregir alucinaciones o comportamientos no deseados.

Este avance es fundamental para la seguridad de la IA, ya que permite auditar el razonamiento interno antes de que se genere la respuesta final. Aunque el coste computacional de crear estos “modelos espejo” es elevado, los conocimientos obtenidos sobre la planificación de tareas y la estructura del conocimiento multilingüe justifican la inversión para el desarrollo de modelos más robustos y transparentes.

Preguntas y Respuestas

Q1: ¿Los modelos piensan en inglés o son realmente multilingües?
A1: Se han encontrado características genuinamente multilingües en las capas medias, aunque el inglés sigue teniendo un peso privilegiado en los nodos de salida finales.

Q2: ¿Qué sucede si se elimina una característica clave mediante “clamping”?
A2: El modelo pierde la capacidad de conectar conceptos relacionados; por ejemplo, si bloqueas “Texas”, no podrá decir que Austin es su capital aunque tenga la información.

Q3: ¿Cómo explica este estudio las alucinaciones?
A3: Como un fallo de activación donde el circuito de “conocimiento” se impone al de “desconocimiento”, forzando al modelo a inventar un dato basado en patrones estadísticos.

Q4: ¿Pueden los modelos realizar cálculos matemáticos complejos mediante circuitos?
A4: Sí, se han identificado “tablas de búsqueda” internas donde el modelo descompone sumas en dígitos individuales antes de reconstruir el resultado final.

Q5: ¿Es el entrenamiento de circuitos aplicable a cualquier modelo?
A5: Teóricamente sí, pero requiere acceso a la arquitectura interna y una potencia de cómputo masiva para replicar las capas del modelo original.

Q6: ¿Qué diferencia hay entre un SAE y un Transcoder?
A6: El SAE se enfoca en una sola capa de forma aislada, mientras que el Transcoder busca replicar el flujo de información a través de múltiples capas del modelo.

Q7: ¿Claude 3.5 Haiku fue el único modelo analizado?
A7: El estudio se centró en Haiku por ser más ligero, pero también se realizaron pruebas en modelos de la serie Gemma para validar los requisitos de cómputo.