AI Visual Lab: Guía Científica Completa

1. Introducción

AI Visual Lab es un laboratorio completo de inteligencia artificial explicable: 20 simulaciones interactivas que transforman los conceptos más abstractos del aprendizaje automático en experiencias sensoriales. Cada simulación se ve, se escucha y se manipula.

¿Qué aprenderás?

• Los fundamentos matemáticos del aprendizaje automático, desde el perceptrón hasta la superposición
• Cómo funcionan las arquitecturas clásicas (CNN, LSTM, GAN, Autoencoder) desde dentro
• La mecánica interna de los Transformers y los Large Language Models
• Las fronteras de la investigación: modelos de difusión, MoE, interpretabilidad mecánica

Cómo usar esta guía

1. Lee la teoría de cada sección para comprender los fundamentos matemáticos
2. Abre la simulación correspondiente (enlaces en cada sección) y experimenta
3. Realiza los ejercicios propuestos al final de cada sección
4. Toma notas en el panel lateral derecho — se guardan automáticamente

Progreso del Tutorial

Estructura del Laboratorio

2. Ruta de Aprendizaje

Elige la ruta que mejor se adapte a tu nivel y objetivos. Cada ruta incluye las simulaciones recomendadas y sus dependencias. Marca las simulaciones completadas para seguir tu progreso.

3. Prerrequisitos

Las simulaciones están diseñadas para ser accesibles, pero ciertos fundamentos matemáticos enriquecerán significativamente tu comprensión.

4. Módulo 1: Fundamentos del Aprendizaje Automático

Este módulo cubre los cimientos sobre los que se construye toda la inteligencia artificial moderna. Partimos de la unidad computacional más simple — el perceptrón — y construimos progresivamente las herramientas necesarias para entrenar redes profundas: optimización, propagación de gradientes, funciones de activación e inicialización.

4.1 El Perceptrón Viviente

Contexto Histórico

En 1958, Frank Rosenblatt propuso el perceptrón como modelo computacional inspirado en la neurona biológica (Rosenblatt, 1958). La idea es directa: una unidad que recibe entradas ponderadas, las suma, y produce una salida binaria según un umbral. Este modelo fue el primer algoritmo capaz de aprender a clasificar datos a partir de ejemplos.

Modelo Matemático

El perceptrón computa una combinación lineal de las entradas y aplica una función escalón:

Donde w es el vector de pesos, x el vector de entrada, y b el sesgo (bias). La frontera de decisión es la recta donde w · x + b = 0.

Regla de Aprendizaje

Cuando el perceptrón clasifica incorrectamente un punto, los pesos se actualizan:

donde η es la tasa de aprendizaje. El Teorema de Convergencia del Perceptrón (Novikoff, 1963) garantiza que si los datos son linealmente separables, el algoritmo converge en un número finito de pasos.

Qué Observar en la Simulación

• La línea de decisión pivotea y se traslada con cada actualización de pesos
• Los puntos mal clasificados parpadean en dorado antes de ser corregidos
• El sonido de tritono (disonancia) se resuelve progresivamente hacia consonancia
• Con el preset "circular", observa cómo el perceptrón nunca converge

4.2 Descenso de Gradiente

Optimización y Superficies de Pérdida

Entrenar una red neuronal equivale a encontrar los parámetros θ que minimizan una función de pérdida L(θ). La geometría de esta función — su superficie de pérdida — determina la dificultad del problema. Puede contener valles, mesetas, puntos de silla y mínimos locales.

SGD (Stochastic Gradient Descent)

El gradiente ∇L indica la dirección de máximo crecimiento; moverse en la dirección opuesta reduce la pérdida. La tasa de aprendizaje η controla el tamaño del paso.

Momentum

El momentum acumula velocidad, permitiendo atravesar mesetas y reducir oscilaciones en valles estrechos. El hiperparámetro β (típicamente 0.9) controla cuánta "inercia" se conserva.

Adam (Adaptive Moment Estimation)

Combina momentum con tasas de aprendizaje adaptativas por parámetro (Kingma & Ba, 2015):

Qué Observar en la Simulación

• En la función Rastrigin (muchos mínimos locales), SGD queda atrapado mientras Adam escapa
• En el punto de silla, el momentum ayuda a escapar de la meseta
• Un learning rate demasiado alto causa divergencia — la partícula sale de la superficie
• El pitch del sonido baja conforme la pérdida desciende

4.3 Backpropagation

La Regla de la Cadena Aplicada

El algoritmo de backpropagation (Rumelhart, Hinton & Williams, 1986) es la aplicación sistemática de la regla de la cadena para calcular gradientes en redes multicapa. Permite saber cuánto contribuye cada peso al error total.

El proceso tiene dos fases:

1. Forward pass: Se computan las activaciones capa por capa, desde la entrada hasta la salida
2. Backward pass: Se computan los gradientes capa por capa, desde la salida hasta la entrada

Problemas del Gradiente

Qué Observar en la Simulación

• El grosor de las conexiones indica la magnitud de los pesos
• Las partículas fluyen hacia adelante (azul) y hacia atrás (rojo)
• Con sigmoid, los gradientes de las primeras capas se desvanecen — las notas se apagan
• Con ReLU, los gradientes fluyen más uniformemente a través de la red

4.4 Funciones de Activación

¿Por qué la No-Linealidad?

Sin funciones de activación no lineales, una red de N capas se reduce a una sola transformación lineal: W_N · ... · W_2 · W_1 · x = W'x. El Teorema de Aproximación Universal (Cybenko, 1989; Hornik, 1991) establece que una red de una capa oculta con activación no lineal puede aproximar cualquier función continua, dada suficiente anchura.

Las 8 Funciones

Qué Observar en la Simulación

• Los 8 canales tipo osciloscopio muestran la transformación de la misma señal de entrada
• La derivada (línea tenue) muestra dónde el gradiente fluye bien y dónde se satura
• Con amplitud alta ("modo explosión"), sigmoid y tanh saturan completamente
• ReLU "corta" la señal negativa — zona gris de muerte neuronal

4.5 Inicialización de Pesos

El Big Bang de los Pesos

La inicialización de pesos determina el punto de partida del entrenamiento. Una inicialización incorrecta puede provocar que las activaciones se desvanezcan (colapsen a cero) o exploten (crezcan sin control) antes de que el entrenamiento comience. La clave es mantener la varianza de las activaciones estable a través de las capas.

Para que la varianza se conserve, necesitamos nₗ · Var[wₗ] = 1, es decir, Var[wₗ] = 1/nₗ.

Estrategias de Inicialización

Qué Observar en la Simulación

• Los histogramas apilados muestran la distribución de activaciones por capa
• Con Normal(0,1): los histogramas se expanden hasta explotar (rojo)
• Con Normal(0,0.01): los histogramas colapsan a cero (azul)
• Con He + ReLU: los histogramas mantienen una varianza estable (verde) a través de las 10 capas

5. Módulo 2: Arquitecturas Clásicas

Con los fundamentos establecidos, este módulo explora las arquitecturas que definieron la primera era del deep learning. Cada una resuelve un problema específico: compresión de información (autoencoders), memoria secuencial (LSTM), atención selectiva, detección jerárquica de patrones (CNN), y generación adversaria (GAN).

5.1 Autoencoder: Compresión como Arquitectura

Representación y Compresión

Un autoencoder es una red neuronal entrenada para reconstruir su propia entrada, forzada a pasar por un cuello de botella (bottleneck) de dimensionalidad reducida. Al hacerlo, aprende una representación comprimida que captura las características esenciales de los datos.

El espacio latente (la representación en el bottleneck) organiza los datos de forma significativa: dígitos similares quedan cerca. Interpolar entre dos puntos del espacio latente genera "transiciones" entre conceptos.

5.2 LSTM: Neuronas con Memoria

El Problema de las RNN Simples

Las redes recurrentes simples (RNN) sufren el problema del vanishing gradient en secuencias largas: la información de pasos tempranos se pierde exponencialmente. Las Long Short-Term Memory (Hochreiter & Schmidhuber, 1997) resuelven esto con un mecanismo de compuertas.

Las Tres Compuertas

El cell state C_t funciona como una cinta transportadora de información:

Qué Observar en la Simulación

• Las compuertas coloreadas: Forget (rojo), Input (verde), Output (azul)
• El cell state como río horizontal — su grosor indica cuánta información fluye
• Con secuencias repetitivas ("abcabc"), el forget gate aprende a filtrar y el input gate se estabiliza

5.3 Mecanismo de Atención

Atención como Alineamiento

El mecanismo de atención (Bahdanau et al., 2014) permite a una red neuronal "mirar" selectivamente diferentes partes de la entrada al producir cada elemento de la salida. La idea fundamental es computar un promedio ponderado donde los pesos reflejan la relevancia de cada posición:

Multi-head attention ejecuta la operación en paralelo con diferentes proyecciones, capturando distintos tipos de relación (sintáctica, semántica, posicional).

Qué Observar en la Simulación

• La matriz de atención como mapa de calor N×N — celdas brillantes indican alta atención
• Las líneas animadas conectan tokens con grosor proporcional al peso
• Con temperatura baja, la atención se concentra en pocos tokens (sharp)
• Con temperatura alta, la atención se distribuye uniformemente (flat)

5.4 Redes Convolucionales: Detectives de Patrones

Inspiración Biológica

Las CNN están inspiradas en el trabajo de Hubel y Wiesel (1962) sobre la corteza visual: diferentes neuronas responden a diferentes orientaciones de bordes. En una CNN, los filtros (kernels) aprenden a detectar patrones locales, y las capas sucesivas detectan patrones cada vez más abstractos.

La Operación de Convolución

Cada capa produce feature maps: representaciones espaciales que resaltan la presencia de patrones específicos. El pooling reduce la resolución espacial, creando invariancia a pequeñas traslaciones.

5.5 Redes Generativas Adversarias

El Juego Adversario

Las GANs (Goodfellow et al., 2014) formulan la generación como un juego entre dos redes: un Generador G que crea datos falsos, y un Discriminador D que intenta distinguir los datos reales de los falsos.

En el equilibrio de Nash, G genera datos indistinguibles de los reales, y D no puede hacer mejor que adivinar al azar (D(x) = 0.5).

6. Módulo 3: Transformers y LLMs

El Transformer (Vaswani et al., 2017) revolucionó el procesamiento de lenguaje natural y, progresivamente, toda la IA. Este módulo disecciona su anatomía pieza por pieza, explora cómo las palabras se convierten en vectores, y examina los fenómenos emergentes que surgen cuando estos modelos escalan.

6.1 Anatomía del Transformer

"Attention Is All You Need"

El paper de Vaswani et al. (2017) propuso reemplazar completamente las recurrencias con mecanismos de atención. El resultado fue una arquitectura paralelizable que superó a las RNN/LSTM en traducción automática y, eventualmente, en casi toda tarea de lenguaje.

Componentes del Bloque Transformer

6.2 Embeddings de Tokens: El Espacio Semántico

Hipótesis Distribucional

"Conocerás una palabra por la compañía que mantiene" (Firth, 1957). Los embeddings de palabras capturan significado a través de co-ocurrencia estadística. Palabras que aparecen en contextos similares obtienen vectores similares.

Aritmética Vectorial

La propiedad más sorprendente de los embeddings (Mikolov et al., 2013) es la posibilidad de realizar analogías mediante aritmética vectorial:

Esto sugiere que las relaciones semánticas se codifican como direcciones consistentes en el espacio vectorial.

Qué Observar en la Simulación

• ~200 palabras proyectadas de 50D a 2D mediante PCA, coloreadas por campo semántico
• Palabras del mismo campo (animales, colores, emociones) forman clusters visibles
• La función de analogía computa y muestra el resultado de la aritmética vectorial

6.3 Self-Attention: Paso a Paso

Los 7 Pasos del Self-Attention

La simulación descompone el mecanismo de self-attention en pasos individuales, haciendo visible cada operación matricial.

1. Embeddings de entrada: Cada token se representa como un vector
2. Proyección Q: Q = X · W_Q (¿qué busca este token?)
3. Proyección K: K = X · W_K (¿qué ofrece este token?)
4. Scores: S = Q · K^T (compatibilidad entre todos los pares)
5. Escalado: S = S / √d_k (estabilizar la magnitud)
6. Softmax: A = softmax(S) (normalizar a distribución de probabilidad)
7. Output: O = A · V (promedio ponderado de valores)

6.4 Chain of Thought: Razonamiento Paso a Paso

Razonamiento Emergente

Wei et al. (2022) descubrieron que los LLMs mejoran dramáticamente en tareas de razonamiento cuando se les pide que generen pasos intermedios antes de la respuesta final. Esta técnica — Chain of Thought (CoT) — convierte problemas complejos en secuencias de subproblemas más simples.

Alucinación

Un riesgo del razonamiento en cadena es que un paso erróneo puede propagarse y contaminar toda la cadena. La simulación incluye un modo alucinación que muestra caminos de razonamiento incorrectos, permitiendo comparar con el razonamiento correcto.

6.5 Habilidades Emergentes y Transiciones de Fase

Leyes de Escala

Kaplan et al. (2020) descubrieron que la pérdida de un modelo de lenguaje sigue una ley de potencias respecto al número de parámetros:

donde N son los parámetros, N_c es una constante y α ≈ 0.076 para modelos tipo Transformer.

Emergencia como Transición de Fase

Ciertas habilidades (aritmética de múltiples dígitos, razonamiento lógico, traducción) aparecen abruptamente a cierta escala, siguiendo una curva sigmoide en vez de una mejora gradual. Esto recuerda las transiciones de fase en física (agua → hielo).

7. Módulo 4: Fronteras de la Inteligencia Artificial

Este módulo explora las áreas más activas de la investigación actual. Los modelos de difusión están detrás de la generación de imágenes; el aprendizaje por refuerzo fundamenta el alineamiento de LLMs; la destilación y los MoE abordan la eficiencia; y la superposición abre la puerta a entender qué ocurre dentro de las redes neuronales.

7.1 Modelos de Difusión: De Ruido a Estructura

El Proceso de Difusión

Los Denoising Diffusion Probabilistic Models (Ho et al., 2020) definen dos procesos: uno que gradualmente destruye la estructura añadiendo ruido gaussiano (forward), y otro que aprende a revertir ese proceso (reverse).

Forward Process

Donde ᾱ_t = Πₛ₌₁ᵗ (1 − βₛ) y β_t es el noise schedule. Tras T pasos, x_T es ruido puro.

Noise Schedules

7.2 Aprendizaje por Refuerzo: Grid World

Procesos de Decisión de Markov

El aprendizaje por refuerzo modela la interacción agente-entorno como un MDP (Markov Decision Process): en cada estado, el agente elige una acción, recibe una recompensa, y transita a un nuevo estado.

Q-Learning

Es un algoritmo off-policy: la actualización usa el máximo Q futuro independientemente de la acción realmente tomada. El parámetro γ (descuento) controla cuánto importa el futuro vs. el presente.

SARSA

A diferencia de Q-Learning, SARSA es on-policy: usa la acción a' que el agente realmente toma (incluyendo exploración), lo que produce políticas más conservadoras.

7.3 Destilación de Conocimiento: Maestro y Alumno

Dark Knowledge

Hinton, Vidal y Dean (2015) propusieron que una red grande (teacher) contiene "conocimiento oscuro" en sus distribuciones de salida suavizadas. Un dígito "7" no solo es 7: la red grande sabe que se parece un poco a "1" y nada a "0". Esta información relacional se pierde con labels duros (one-hot) pero se preserva con soft labels.

El parámetro T (temperatura) suaviza las distribuciones: a mayor T, más "dark knowledge" se transfiere. El factor T² compensa la reducción de magnitud del gradiente.

7.4 Mixture of Experts: Routing Inteligente

Especialización y Eficiencia

Un modelo Mixture of Experts (Shazeer et al., 2017) contiene múltiples subredes "expertas", pero solo activa un subconjunto para cada entrada. Un router (gating network) decide qué expertos activar:

Con Top-1 routing, solo un experto procesa cada input (sparse). Esto permite escalar el número de parámetros sin aumentar proporcionalmente el cómputo.

7.5 Superposición: Dentro de la Caja Negra

Interpretabilidad Mecánica

Elhage et al. (2022, Anthropic) demostraron que las redes neuronales pueden codificar más features (M) de los que tienen dimensiones (N), un fenómeno llamado superposición. Esto ocurre cuando las features son sparse (raramente activas simultáneamente).

Modelo Toy de Superposición

La matriz W (N×M) codifica M features en N dimensiones. Si M ≤ N, cada feature puede tener su propia dimensión. Si M > N, los vectores de features deben compartir espacio, creando interferencia.

Diagrama de Fase

El comportamiento del modelo depende de dos variables: la relación M/N y la sparsity de las features. Cuando la sparsity es alta (features raramente activas), la superposición es posible sin mucha interferencia. Cuando es baja, la interferencia destruye la información.

8. Ejercicios Integrados

Estos ejercicios combinan conceptos de múltiples simulaciones para reforzar la comprensión global.

Módulo 1: Cadena de Fundamentos

Módulo 2: Arquitecturas en Contexto

Módulo 3: Diseccionando el Transformer

Módulo 4: Retos de Frontera

9. Mapa Conceptual

Este diagrama muestra las conexiones entre los 20 conceptos del laboratorio. Las flechas indican "construye sobre" o "habilita".

Líneas Conceptuales Principales

• Línea de Optimización: Perceptrón → Gradient Descent → Backpropagation → Weight Init → entrenamiento de toda arquitectura
• Línea de Atención: LSTM → Attention → Self-Attention → Transformer → LLMs → Emergent Abilities
• Línea Generativa: Autoencoder → GAN → Diffusion Models
• Línea de Eficiencia: Knowledge Distillation → MoE → Scaling Laws
• Línea de Interpretabilidad: Activation Functions → Backprop Flow → Superposition

10. Glosario

~120 términos unificados de las 20 guías individuales, ordenados alfabéticamente.

11. Referencias Bibliográficas

Las siguientes publicaciones fundamentan los conceptos presentados en este laboratorio, ordenadas cronológicamente.

1. Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65(6), 386-408.
2. Hubel, D. H. & Wiesel, T. N. (1962). Receptive Fields, Binocular Interaction and Functional Architecture in the Cat's Visual Cortex. The Journal of Physiology, 160(1), 106-154.
3. Minsky, M. & Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press.
4. Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986). Learning Representations by Back-propagating Errors. Nature, 323, 533-536.
5. Cybenko, G. (1989). Approximation by Superpositions of a Sigmoidal Function. Mathematics of Control, Signals, and Systems, 2, 303-314.
6. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278-2324.
7. Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780.
8. Glorot, X. & Bengio, Y. (2010). Understanding the Difficulty of Training Deep Feedforward Neural Networks. AISTATS 2010.
9. Krizhevsky, A., Sutskever, I. & Hinton, G. E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS 2012.
10. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
11. Bahdanau, D., Cho, K. & Bengio, Y. (2014). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473.
12. Goodfellow, I. J. et al. (2014). Generative Adversarial Networks. arXiv:1406.2661.
13. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP 2014.
14. He, K., Zhang, X., Ren, S. & Sun, J. (2015). Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. ICCV 2015.
15. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. arXiv:1503.02531.
16. Kingma, D. P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR 2015.
17. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS 2017. arXiv:1706.03762.
18. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR 2017.
19. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239.
20. Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
21. Fedus, W., Zoph, B. & Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
22. Nichol, A. & Dhariwal, P. (2021). Improved Denoising Diffusion Probabilistic Models. ICML 2021. arXiv:2102.09672.
23. Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv:2201.11903.
24. Elhage, N. et al. (2022). Toy Models of Superposition. Anthropic Research. arXiv:2209.10652.
25. Schaeffer, R., Miranda, B. & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023. arXiv:2304.15004.

12. Preguntas Frecuentes