Learning Rate (Tasa de Aprendizaje)

En el contexto de la inteligencia artificial y el aprendizaje automático, representa un hiperparámetro clave que controla el tamaño de los pasos que da un modelo al ajustar sus pesos durante el proceso de entrenamiento.

Determina la velocidad y la eficacia con la que un modelo puede converger hacia un mínimo en la función de pérdida, lo que afecta directamente su capacidad de aprendizaje.

Un valor demasiado alto puede impedir que el modelo encuentre un buen mínimo, provocando oscilaciones o divergencias en el entrenamiento.

Por el contrario, un valor demasiado bajo puede hacer que el proceso de aprendizaje sea extremadamente lento, atrapando al modelo en mínimos locales.

Es fundamental encontrar un balance adecuado para optimizar el rendimiento del modelo, y muchas veces se utiliza un scheduler para ajustar este parámetro dinámicamente durante el entrenamiento.