Self-Attention Mechanism - AI Visual Lab

Attention(Q,K,V) = softmax(QK^T / √d_k)V

⚙ Secuencia

⚒ Configuracion

Temperatura 1.0

Causal Mask (GPT)

Mostrar Valores

🎵 Audio

Volumen 30%

📊 Metricas

Dimension d_k8

Entropia Atencion-

Max Atencion-

Token Query-

📚 Cada Token Habla con Todos

El Self-Attention permite que cada token decida cuanto "atender" a cada otro token en la secuencia.

7 Pasos:
1. Input Embeddings - vectores de entrada
2. Proyeccion Q - queries (preguntas)
3. Proyeccion K - keys (claves)
4. Q·K^T - compatibilidad
5. / √d_k - escalado
6. Softmax - normalizacion
7. × V - output ponderado

💡 Mask Causal

En modelos autoregresivos (GPT), el token en posicion i solo puede atender a posiciones ≤ i. La mask causal pone -∞ en posiciones futuras antes del softmax.