LSTM Memory Cells - AI Visual Lab

Introduce una secuencia

f_t = σ(W_f·[h_t-1, x_t] + b_f)

✎ Secuencia

▶ Control

Unidades LSTM 8

⚙ Forzar compuertas

Forget gate Auto

Input gate Auto

Output gate Auto

-1 = automatico (red decide). 0-100 = forzar valor.

♬ Audio

Volumen 30%

☰ Estado actual

Paso0

Caracter-

Prediccion-

|Cell state|-

|Hidden|-

Forget: -

Input: -

Output: -

¿Que es una celula LSTM?

Una LSTM (Long Short-Term Memory) es un tipo de red recurrente que resuelve el problema de la memoria a largo plazo. Tiene tres compuertas que controlan el flujo de informacion:

Forget gate: que olvidar de la memoria
Input gate: que nueva informacion guardar
Output gate: que parte de la memoria usar

Cell state: el rio de la memoria

El cell state (C_t) fluye horizontalmente a traves del tiempo, como un rio. Las compuertas pueden borrar informacion (forget gate = 0) o anadir nueva (input gate = 1).

Formula: C_t = f_t ⊙ C_t-1 + i_t ⊙ C̃_t

¿Por que importan las LSTM?

Las RNN simples pierden informacion rapidamente (vanishing gradient). Las LSTM mantienen memoria durante cientos de pasos. Son fundamentales en:

Procesamiento de lenguaje natural
Prediccion de series temporales
Generacion de musica y texto
Traduccion automatica (antes de Transformers)