Layer Normalization (Normalización por Capas)

Es una técnica utilizada en redes neuronales para estabilizar y acelerar el proceso de aprendizaje al normalizar las activaciones de cada capa.

Consiste en calcular la media y la desviación estándar de las activaciones de un conjunto de neuronas dentro de una capa, ajustándolas para que tengan una distribución con media cero y varianza unitaria.

A diferencia de la normalización por lotes, esta técnica opera sobre las activaciones de cada capa de forma individual en lugar de depender del tamaño del lote de entrenamiento, lo que la hace más adecuada para tareas con tamaños de lote pequeños o secuenciales.

Se implementa a través de métodos como el escalamiento y desplazamiento lineal, permitiendo a la red mantener una alta flexibilidad y capacidad de representación.

Contribuye a mejorar la estabilidad numérica en redes profundas y puede llevar a una convergencia más rápida durante el entrenamiento.