Attention Heatmap - AI Visual Lab

Attention(Q,K,V) = softmax(QK^T / √d_k)V

✎ Frase

⚙ Configuracion

Numero de heads 4

Dimension d_k 8

Temperatura 1.0

▣ Attention head

Mostrar valores numericos

Lineas de atencion

♬ Audio

Volumen 30%

☰ Metricas

Tokens0

Heads4

d_k8

d_model32

Entropia media--

Max atencion--

¿Que es la atencion?

El mecanismo de atencion permite que cada token "mire" a todos los demas tokens y decida a cuales prestar atencion. Es el corazon de los Transformers.

Cada token genera tres vectores: Query (que busco), Key (que ofrezco), Value (mi contenido).

Multi-head attention

En lugar de una sola atencion, usamos multiples heads en paralelo. Cada head puede aprender a atender a diferentes tipos de relaciones:

Head 1: relaciones de posicion (tokens cercanos)
Head 2: relaciones sintacticas (sujeto-verbo)
Head 3: relaciones semanticas (significado)

Temperatura del softmax

Temperatura baja (< 1): atencion concentrada en pocos tokens (sharp). Temperatura alta (> 1): atencion distribuida uniformemente (flat).

La formula escala los scores: softmax(QK^T / (√d_k · T))