Emergent Abilities - AI Visual Lab

L(N) = (N_c/N)^α
Chinchilla scaling law

⚙ Escala del Modelo

Parametros (log) 1B

📈 Tarea / Benchmark

🤖 Modelos

🎵 Audio

Volumen 30%

📊 Metricas

Parametros-

Tarea-

Rendimiento-

Transicion-

📚 Cuando la Escala lo Cambia Todo

Las habilidades emergentes aparecen abruptamente al escalar modelos de lenguaje. Una tarea que un modelo de 1B no puede hacer, un modelo de 100B resuelve con facilidad.

Esto se parece a una transicion de fase en fisica: el agua no se congela gradualmente — hay un punto critico.

💡 Scaling Laws

Las leyes de escala predicen que el loss del modelo sigue L(N) = (Nc/N)^α donde N son los parametros.

Pero el rendimiento en tareas no es una linea recta — hay saltos. Chinchilla (2022) demostro que el entrenamiento optimo requiere escalar datos y modelo proporcionalmente.