Gradient Descent Landscape - AI Visual Lab

Convergencia alcanzada

θ_t+1 = θ_t − η ∇L(θ_t)

📉 Funcion de Perdida

Mostrar campo vectorial de gradientes

⚙ Optimizador

Learning rate (η) 0.0100

Momentum (β) 0.90

▶ Control

Velocidad 10 st/s

Click en el canvas para colocar particulas. Cada una desciende independientemente por el paisaje.

🔊 Audio

Volumen 30%

📊 Valores (P1)

Particulas0

Step global0

Mejor loss--

Loss actual--

θ₁--

θ₂--

|∇L|--

🎯 Particulas

Sin particulas — click en canvas

¿Que es el descenso por gradiente?

El descenso por gradiente es el algoritmo fundamental para entrenar redes neuronales. La idea es simple: dado un paisaje de perdida (la superficie que ves), queremos encontrar el punto mas bajo — el minimo.

En cada paso, calculamos el gradiente ∇L (la direccion de maxima subida) y nos movemos en la direccion opuesta, escalado por el learning rate η.

El resultado es que la particula "rueda cuesta abajo" por la superficie, como una canica en un cuenco. Pero las superficies reales tienen minimos locales, puntos de silla y valles estrechos que complican la busqueda.

Optimizadores

SGD — Vanilla: sigue el gradiente directamente. Simple pero lento en valles y puede oscilar.

SGD + Momentum — Acumula velocidad como una bola rodando. Cruza valles mas rapido y escapa minimos locales poco profundos: v_t = βv_t-1 − η∇L

RMSProp — Adapta el learning rate por dimension. Divide por la raiz de la media movil de gradientes al cuadrado: θ_t+1 = θ_t − η·g / √(s + ε)

Adam — Combina momentum + RMSProp. Es el optimizador por defecto en deep learning moderno. Usa correcciones de sesgo para los primeros pasos.

Superficies de perdida

Quadratic Bowl — El caso ideal: convexa, un solo minimo. Todo optimizador converge.

Rosenbrock — Valle largo y curvado. Dificil seguirlo. Test clasico de optimizadores.

Rastrigin — Muchos minimos locales. Solo el gradiente no basta para encontrar el global.

Saddle Point — Subida en una dimension, bajada en otra. Los puntos de silla son mas comunes que los minimos locales en dimensiones altas.

Beale — Superficie asimetrica compleja con gradientes fuertes lejos del minimo.