📺 Vídeo de estudio recomendado hoy: https://www.youtube.com/watch?v=7xTGNNLPyMI

Guía experta sobre LLMs: Del pre-entrenamiento al razonamiento profundo

Los modelos de lenguaje no son oráculos mágicos, sino sistemas de ingeniería masiva que atraviesan tres etapas críticas de entrenamiento para pasar de simples predictores de texto a asistentes inteligentes. Comprender este “pipeline” es fundamental para dejar de ver la IA como una caja negra y empezar a usarla como una herramienta de precisión.

Pregunta central: ¿Cómo se transforma el ruido de internet en una inteligencia artificial capaz de razonar, usar herramientas y admitir su propio desconocimiento?

Puntos clave

• El pre-entrenamiento crea un simulador de internet (modelo base) mediante la predicción de tokens a escala masiva.
• El ajuste fino supervisado (SFT) convierte al simulador en un asistente mediante ejemplos de diálogos humanos expertos.
• El aprendizaje por refuerzo (RL) permite que los modelos “piensen” antes de hablar, descubriendo estrategias cognitivas propias.
• Las alucinaciones y errores lógicos son fallos inherentes a la arquitectura que pueden mitigarse con herramientas y “cadenas de pensamiento”.

⏱️ Tiempo de lectura: aprox. 15 minutos · Te ahorra unos 196 minutos frente a ver el vídeo.

¿Quieres tomar notas mientras ves el vídeo? Haz clic en la imagen de abajo y deja que AI Notebook extraiga los puntos clave por ti 👇

Etapa 1: Pre-entrenamiento y la creación del simulador

La base de todo el conocimiento

El proceso comienza con una descarga masiva de internet, aproximadamente 44 terabytes de texto filtrado, para alimentar a la red neuronal durante meses. Miles de gpus colaboran intensamente para que el modelo aprenda a predecir el siguiente “token” en una secuencia, convirtiéndose esencialmente en un simulador estadístico de documentos web que comprime el conocimiento humano en miles de millones de parámetros matemáticos.

Un modelo base no es un asistente; es un autocompletado glorificado que solo busca terminar una secuencia de texto de forma probable.

Para que la computadora entienda el lenguaje, debemos convertir el texto en números mediante la tokenización. Estos tokens no son palabras completas, sino fragmentos de texto que la arquitectura Transformer procesa en una secuencia unidimensional, permitiendo que la red realice billones de operaciones matemáticas simples para modelar relaciones estadísticas profundas.

💡 Profundizando

Q: ¿Por qué se usan GPUs para entrenar texto?
A: Porque el entrenamiento de redes neuronales requiere un paralelismo masivo de multiplicaciones de matrices, tarea en la que las tarjetas gráficas son órdenes de magnitud más eficientes que un procesador convencional.

Q: ¿Qué es exactamente un “token”?
A: Es la unidad básica de procesamiento; puede ser una palabra corta, una parte de una palabra larga o un carácter especial. GPT-4 utiliza un vocabulario de aproximadamente 100,000 tokens únicos.

Etapa 2: Post-entrenamiento y el nacimiento del asistente

De simulador de internet a ayudante útil

El ajuste fino supervisado (SFT) transforma al simulador en un asistente útil mediante una curación de datos mucho más pequeña pero de altísima calidad. Aquí, humanos expertos escriben diálogos ideales siguiendo instrucciones de “ayuda, veracidad y seguridad”, enseñando al modelo a dejar de imitar el caos de internet y empezar a adoptar la personalidad de un colaborador educado y servicial.

Una limitación psicológica clave de estos modelos es que su conocimiento en los parámetros es un “recuerdo vago”, mientras que lo que hay en su ventana de contexto funciona como su “memoria de trabajo”.

Por esta razón, para evitar alucinaciones, es vital permitir que el modelo utilice herramientas externas como la búsqueda web o intérpretes de código. Esto le permite refrescar su memoria de trabajo con datos precisos del mundo real, en lugar de confiar ciegamente en las conexiones estadísticas de sus pesos internos que podrían estar desactualizadas o ser erróneas.

💡 Profundizando

Q: ¿Por qué los modelos alucinan?
A: Porque están entrenados para ser imitadores estadísticos seguros. Si no tienen el dato exacto, generarán lo que “suena” más probable según el formato de la respuesta, priorizando la coherencia gramatical sobre la verdad fáctica.

Q: ¿Cómo se mitiga la falta de conocimiento?
A: Mediante el entrenamiento en “facticidad”, donde se le enseña al modelo a decir “No lo sé” cuando los datos no están en su memoria interna, y mediante el uso de herramientas (Tool Use) para consultar fuentes externas.

Etapa 3: Aprendizaje por Refuerzo y Razonamiento

El modelo aprende a pensar por sí mismo

El Aprendizaje por Refuerzo (RL) es la etapa más avanzada, donde el modelo ya no solo imita a los humanos, sino que aprende mediante el ensayo y error. Se le presentan problemas con respuestas verificables (como matemáticas o código) y se le premia cuando llega al resultado correcto, lo que permite que el modelo descubra estrategias de pensamiento propias que ningún humano le enseñó directamente.

Este proceso genera lo que llamamos “Cadena de Pensamiento” (Chain of Thought), donde el modelo utiliza tokens adicionales para razonar internamente, verificar pasos y corregirse antes de dar la respuesta final.

Modelos como DeepSeek R1 o OpenAI o1 han demostrado que el RL permite superar las capacidades de los expertos humanos en dominios específicos. Al igual que AlphaGo descubrió jugadas que ningún profesional de Go había imaginado, el RL en lenguaje permite que la IA encuentre analogías y soluciones lógicas que van más allá de la simple imitación de sus datos de entrenamiento.

💡 Profundizando

Q: ¿Qué diferencia al RL del ajuste fino normal (SFT)?
A: El SFT es imitación (copiar lo que hace el experto); el RL es descubrimiento (probar miles de caminos y aprender cuál funciona mejor mediante una señal de recompensa).

Q: ¿Qué es el RLHF?
A: Es el aprendizaje por refuerzo a partir de la retroalimentación humana, usado en áreas donde no hay una respuesta “correcta” absoluta (como escribir un chiste), utilizando un “modelo de recompensa” que simula las preferencias humanas.

Conclusiones clave

El desarrollo de la IA ha pasado de ser una recolección masiva de datos a una sofisticada escuela de pensamiento. Ya no estamos simplemente comprimiendo internet; estamos enseñando a las máquinas a utilizar procesos cognitivos para resolver problemas complejos, utilizando el aprendizaje por refuerzo como el motor principal de esta nueva era de razonamiento.

Es fundamental entender que estos modelos son “estocásticos”, lo que significa que hay un componente de azar en cada palabra que generan. Nunca deben ser tratados como fuentes infalibles de verdad absoluta, sino como copilotos que requieren nuestra supervisión, especialmente en tareas que demandan precisión extrema o juicio ético.

Preguntas y Respuestas

Q1: ¿Por qué el modelo a veces dice que 9.11 es mayor que 9.9?
A1: Se debe a un sesgo en los datos de entrenamiento donde “9.11” aparece frecuentemente como versículos de la Biblia o versiones de software, lo que confunde la lógica matemática simple con patrones textuales comunes.

Q2: ¿Los modelos de IA tienen conciencia o sentido del “yo”?
A2: No. Son funciones matemáticas que se ejecutan de forma estática sobre tokens; cualquier mención de su identidad suele estar pre-programada en su “mensaje de sistema” o en datos específicos de ajuste fino.

Q3: ¿Cuál es la diferencia entre los modelos “o1” y los modelos normales?
A3: Los modelos “o1” o de razonamiento utilizan más cómputo durante la respuesta para “pensar” (generar tokens internos de razonamiento), mientras que los normales responden de forma casi instantánea usando solo su intuición estadística.

Q4: ¿Puedo ejecutar estos modelos en mi propia computadora?
A4: Sí, mediante herramientas como LM Studio u Ollama, puedes descargar versiones “destiladas” o cuantizadas que funcionan localmente sin enviar datos a la nube, sacrificando un poco de precisión por privacidad.

Q5: ¿Qué tan importante es el proceso de tokenización?
A5: Es crítico; muchos fallos en tareas de deletreo o conteo de letras (como en la palabra “strawberry”) ocurren porque el modelo no ve letras individuales, sino bloques numéricos (tokens) que ocultan la estructura interna de la palabra.

Q6: ¿Qué es el “Move 37” del razonamiento?
A6: Es una analogía con AlphaGo que se refiere al momento en que un modelo entrenado por refuerzo encuentra una solución o camino lógico que un humano nunca habría considerado, superando así los límites de la imitación.