Gradient Tracking (Seguimiento del Gradiente)

Técnica utilizada principalmente en el entrenamiento de modelos de machine learning distribuidos, especialmente en optimización descentralizada.

Permite que múltiples nodos o dispositivos colaboradores mantengan un consenso aproximado sobre el gradiente global durante el proceso de optimización.

Su objetivo principal es minimizar los errores de sincronización y asegurar que las actualizaciones de los modelos converjan hacia una solución compartida.

Emplea estrategias para ajustar gradientes individuales en función de los gradientes históricos acumulativos.

Es crucial en entornos donde el intercambio de información entre nodos es limitado o costoso en términos de comunicación.