Optimizador Adam

Es un método de optimización ampliamente utilizado en el entrenamiento de modelos de aprendizaje automático y redes neuronales profundas.

Combina las ventajas de dos técnicas de optimización conocidas, AdaGrad y RMSProp, al adaptarse dinámicamente a los gradientes del modelo y ajustar los pasos de actualización para cada parámetro.

Utiliza dos momentos, el promedio móvil de los gradientes (primer momento) y el promedio móvil de los gradientes al cuadrado (segundo momento), lo que permite un ajuste más preciso y estable durante el aprendizaje.

Es eficiente tanto en términos de tiempo como de uso de memoria, lo que lo hace especialmente útil para grandes conjuntos de datos y modelos complejos.

Incluye factores de regularización automáticos, lo que lo hace menos sensible a la selección de hiperparámetros como la tasa de aprendizaje inicial.

Su diseño permite converger más rápido y estabilizar el proceso de entrenamiento, reduciendo las oscilaciones y mejorando el rendimiento final del modelo.