Backpropagation Flow - AI Visual Lab

∂L/∂w_ij = ∂L/∂a_j · σ'(z_j) · a_i

🎯 Problema

🧠 Arquitectura

Learning rate (η) 0.50

Activacion sigmoid

❄ Congelar capas

Click para congelar/descongelar. Capas congeladas no actualizan pesos.

▶ Control

Velocidad 10 ep/s

🔊 Audio

Volumen 30%

📊 Metricas

Epoch0

Loss (MSE)--

Accuracy--

Max |∇|--

Min |∇|--

Diagnostico--

Gradiente medio por capa:

¿Que es backpropagation?

Backpropagation es el algoritmo que permite a las redes neuronales aprender. Calcula como cada peso contribuye al error usando la regla de la cadena del calculo.

El flujo tiene dos fases: forward pass (la informacion fluye entrada → salida calculando activaciones) y backward pass (el error fluye salida → entrada calculando gradientes).

Cada peso se actualiza proporcionalmente a su gradiente: w ← w − η · ∂L/∂w. Los gradientes fluyen como "credito de error" — cada neurona recibe responsabilidad proporcional a su contribucion.

La regla de la cadena

Para un peso w_ij que conecta neurona i con neurona j, el gradiente es el producto de tres factores:

∂L/∂a_j — como cambia la loss respecto a la activacion (viene de capas posteriores)

σ'(z_j) — derivada de la activacion (que tan "sensible" es la neurona)

a_i — activacion de la neurona origen (la "señal" que llego)

Problemas de gradientes

Vanishing gradients — Cuando σ' es siempre < 1 (como sigmoid), los gradientes se multiplican y encogen exponencialmente en capas profundas. Las capas tempranas apenas aprenden.

Exploding gradients — Lo contrario: gradientes que crecen sin control. Comun con learning rates altos o pesos iniciales grandes.

Prueba a congelar capas para ver como afecta al aprendizaje, o cambia la activacion de sigmoid a ReLU para mitigar vanishing gradients.