Gradient Penalty (Penalización de Gradiente)

Término asociado a técnicas de regularización utilizadas en Machine Learning, particularmente en el contexto de redes adversarias generativas (GANs).

Sirve como medida para mejorar la estabilidad del entrenamiento penalizando gradientes que se desvíen de un valor normativo específico, comúnmente 1.

Se emplea en funciones de pérdida para garantizar que los gradientes del discriminador mantengan un nivel controlado en muestras interpoladas entre verdaderos y generados.

Ayuda a abordar problemas como el colapso de modo o inestabilidades numéricas durante el aprendizaje.

Es una extensión del enfoque de regularización basado en Lipschitz y suele implementarse en variantes de GANs como WGAN-GP.

Su cálculo implica integrar gradientes de redes neuronales y aplicar un término de penalización adicional a la función objetivo.

Esto contribuye a robustecer la convivencia y aprendizaje competitivo entre generadores y discriminadores en modelos GAN.