Gumbel-Softmax

Es un método que permite aproximar muestras de variables categóricas en entornos de optimización diferenciable.

Se utiliza principalmente en el contexto de redes neuronales y modelos probabilísticos, donde el proceso de muestreo discreto no es fácilmente diferenciable.

Funciona mediante la transformación de distribuciones categóricas en representaciones continuas utilizando un reparametrizado basado en la distribución de Gumbel.

Permite calcular gradientes mediante técnicas de optimización estándar, haciendo posible el entrenamiento mediante retropropagación.

Es especialmente útil en tareas como la selección discreta de elementos en modelos de aprendizaje profundo, tanto en configuraciones supervisadas como no supervisadas.