Transformer Anatomy - AI Visual Lab

Output = LayerNorm(x + Attention(x))
→ LayerNorm(x + FFN(x))

⚙ Entrada

🎵 Audio

Volumen 30%

📊 Componente Activo

Componente-

Dimensiond=32

Heads2

Capas2

📚 El Corazon de GPT

Un Transformer procesa tokens en paralelo usando atencion para que cada token "hable" con todos los demas.

Flujo: Embedding → + PosEnc → N×(Attention + FFN) → Output

La atencion multi-head permite capturar diferentes relaciones simultaneamente. Las conexiones residuales aseguran flujo de gradientes. LayerNorm estabiliza cada capa.

💡 Componentes Clave

• Embedding: Token → vector de dimension d
• Positional Encoding: PE(pos,2i) = sin(pos/10000^(2i/d))
• Multi-Head Attention: softmax(QK^T/√d_k)V
• FFN: max(0, xW_1+b_1)W_2+b_2
• Residual + LayerNorm: Estabilidad del entrenamiento