Knowledge Distillation - AI Visual Lab

L = α·KL(σ(z_T/T) || σ(z_S/T))·T² + (1-α)·CE(y, σ(z_S))

⚙ Entrada

🌡 Destilacion

Temperatura T 5

Peso α (soft vs hard) 0.70

Usar soft labels (desactivar = solo hard labels)

🎵 Audio

Volumen 30%

📊 Metricas

Epoca0

KL Divergencia-

Accuracy Teacher-

Accuracy Student-

Loss Total-

Temperatura5

📚 Maestro y Alumno

La destilacion de conocimiento transfiere lo aprendido por una red grande (Teacher) a una red pequena (Student).

El teacher produce soft labels: probabilidades suavizadas con temperatura T. A mayor T, la distribucion revela mas sobre las relaciones entre clases.

L_soft = KL entre outputs suavizados · T²
L_hard = Cross-entropy con etiqueta real
L_total = α · L_soft + (1-α) · L_hard

El alumno aprende no solo que clasificar, sino como piensa el maestro sobre las relaciones entre clases.