Kullback-Leibler Divergence (KL Divergence)

Es una medida utilizada en probabilidad y estadística para calcular la diferencia entre dos distribuciones de probabilidad, específicamente cómo una distribución probabilística discrepa de una distribución de referencia.

En el ámbito del aprendizaje automático, se utiliza frecuentemente para evaluar la discrepancia entre la distribución verdadera de los datos y la distribución que un modelo está intentando aprender.

Matemáticamente, pertenece a la familia de medidas de distancia de información y no es simétrica, es decir, el cálculo de la divergencia de A con respecto a B no es igual que de B con respecto a A.

Aunque técnicamente no es una métrica porque no cumple con la propiedad de la simetría, es ampliamente utilizada en tareas como la optimización del aprendizaje de modelos probabilísticos, ajuste de modelos y reducción de la pérdida.

La divergencia tiene aplicaciones en algoritmos como el aprendizaje automático no supervisado, modelos generativos como las Variational Autoencoders (VAE) y en la evaluación de redes adversarias generativas (GAN).