Weight Initialization Galaxy - AI Visual Lab

Var[a_l] = Var[a_l-1] · n_in · Var[w]

⚙ Inicializacion

⚡ Activacion

█ Arquitectura

Profundidad 10 capas

Ancho 64 neuronas

▶ Control

Batch size 32

Particulas estelares

Glow en histogramas

♬ Audio

Volumen 30%

☰ Varianza por capa

⚠ Diagnostico

Estado--

Var input--

Var output--

Ratio out/in--

Contiene NaNNo

Var media--

Capas estables--

¿Que es la inicializacion de pesos?

Antes de entrenar una red neuronal, sus pesos deben tener valores iniciales. Esta eleccion es critica: pesos demasiado grandes causan explosion de gradientes, demasiado pequenos causan desvanecimiento.

El objetivo es que la varianza de las activaciones se mantenga estable a traves de todas las capas. Si la varianza crece o decrece exponencialmente, el entrenamiento falla.

¿Por que importa la varianza?

En una capa densa: Var[a_l] = n · Var[w] · Var[a_l-1]. Para mantener estabilidad necesitamos n · Var[w] ≈ 1.

Xavier: Var[w] = 2/(n_in + n_out) — optimo para sigmoid/tanh
He: Var[w] = 2/n_in — compensa que ReLU elimina mitad de valores
LeCun: Var[w] = 1/n_in — variante conservadora

Guia practica

ReLU/Leaky ReLU: usa He (Kaiming). Sigmoid/Tanh: usa Xavier (Glorot). SELU: usa LeCun.

Inicializar con N(0, 1) causa explosion inmediata en redes profundas. Con N(0, 0.01) las senales colapsan a cero. Con zeros no hay ruptura de simetria y la red no aprende.