MFU (Model FLOPs Utilization)

Leerlo en el Capítulo 5 · checkpoint +50 XP →

FLOPs útiles del modelo por segundo divididos entre el máximo del hardware. La cifra honesta de eficiencia de entrenamiento.

Para transformers densos, entrenar cuesta unos 6 × parámetros × tokens FLOPs (2 en el forward + 4 en el backward). El MFU compara lo que lograste con el máximo teórico:

MFU = (6 · N · tokens_por_segundo) / (núm_GPUs · FLOP/s_máximos)

Ignora deliberadamente la recomputación del checkpointing de activaciones (eso es HFU, hardware FLOPs utilization), así que solo premia el trabajo útil.

¿Qué es bueno? Entre 35 y 55% es típico para entrenamiento bien afinado de modelos grandes en clústeres tipo H100. Más de 60% es excelente.

Qué lo hunde: micro-batches pequeños, comunicación expuesta (sin solapamiento), burbujas de pipeline, esperas del dataloader, Stragglers (rezagados), relojes limitados y FP32 simple. La misión Feed the Beast los recorre en orden.

Úsalo en una misión

Relacionado

Fuentes y lecturas adicionales

• PaLM: MFU definition (Chowdhery et al., 2022)
• Distributed Training (T. Tsugriy) — parallelism strategies, collectives, memory

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.