Batch Normalization (Normalización por Lotes)

Es una técnica utilizada en redes neuronales profundas para acelerar el entrenamiento, mejorar la estabilidad y mitigar problemas como la covariación interna del desplazamiento.

Normaliza las salidas intermedias de las capas (activaciones) dividiendo cada mini-lote por su desviación estándar y restando su media.

Introduce dos parámetros entrenables, gamma y beta, que permiten a la red ajustarse a cualquier distribución necesaria después de la normalización.

Permite el uso de tasas de aprendizaje más altas y reduce la dependencia de una inicialización precisa de los pesos.

Contribuye a regularizar el modelo, lo que puede traducirse en una reducción del sobreajuste en algunas circunstancias.

Se integra comúnmente antes de aplicar la función de activación no lineal en una capa de la red neuronal.