Activation Function Orchestra - AI Visual Lab

a = σ(z) — 8 funciones en paralelo

📡 Senal de entrada

Frecuencia 1.0 Hz

Amplitud 2.0

👁 Visualizacion

Velocidad 1.0x

Mostrar derivadas (linea punteada)

Mostrar curva estatica f(x)

Relleno bajo curva

🔊 Audio

Volumen 25%

Cada funcion tiene un timbre distinto. Saturacion = detuning audible.

σ Funciones

Sigmoid: 1/(1+e^-x)

Tanh: tanh(x)

ReLU: max(0, x)

Leaky ReLU: max(0.01x, x)

ELU: x>0 ? x : α(e^x-1)

Swish: x·σ(x)

GELU: x·Φ(x)

Mish: x·tanh(softplus(x))

¿Que son las funciones de activacion?

Las funciones de activacion son la fuente de no-linealidad en redes neuronales. Sin ellas, una red profunda seria equivalente a una sola capa lineal — no podria aprender patrones complejos.

Cada neurona calcula a = σ(w·x + b), donde σ es la funcion de activacion. La eleccion de σ afecta como fluyen los gradientes, que tan rapido aprende la red, y que tipo de funciones puede representar.

Saturacion vs zona muerta

Saturacion (Sigmoid, Tanh): cuando |x| es grande, la derivada → 0. Los gradientes se "aplastan" y el aprendizaje se detiene. Es el clasico vanishing gradient.

Zona muerta (ReLU): cuando x < 0, la salida es 0 y la derivada es 0. La neurona "muere" y nunca se recupera. Leaky ReLU, ELU y las demas variantes solucionan esto.

Swish, GELU, Mish: funciones modernas suaves y no monotonas. Permiten un ligero rango negativo, lo que puede ayudar al aprendizaje. GELU es la activacion estandar en Transformers.

Guia practica

Redes convencionales → ReLU (o Leaky ReLU) en capas ocultas + Sigmoid/Softmax en salida.

Transformers → GELU en las capas feed-forward.

Redes recurrentes → Tanh en las celdas + Sigmoid en las gates.

Prueba a subir la amplitud para ver como reaccionan ante señales fuertes. Observa que funciones mantienen gradientes utiles (derivada ≠ 0) y cuales se saturan.