Divergencia de Kullback-Leibler (KL)

Es una medida de la diferencia entre dos distribuciones de probabilidad.

Se utiliza frecuentemente en machine learning para evaluar qué tan bien una distribución estimada se ajusta a una distribución real o esperada.

Matemáticamente, considera cuánto se pierde al utilizar una distribución aproximada en lugar de la verdadera.

No es simétrica, es decir, la divergencia de \(P\) en relación a \(Q\) no es igual a la de \(Q\) en relación a \(P\).

Su aplicación es común en algoritmos como el aprendizaje Bayesiano y en modelos generativos como las Variational Autoencoders (VAE).