Limitación de potencia
Leerlo en el Capítulo 5 · checkpoint +50 XP →
Baja el límite de potencia de una GPU y cede un poco de velocidad por mucha menos energía: a menudo 20% menos potencia por menos de 10% de lentitud.
Cerca del extremo superior de la curva voltaje/frecuencia, la potencia crece mucho más rápido que el rendimiento: la potencia dinámica ∝ f·V², y el voltaje debe subir con la frecuencia. Por eso limitar la potencia cuesta proporcionalmente menos rendimiento del que ahorra.
En el entrenamiento, solo la parte limitada por cómputo de cada paso se frena. La comunicación, la carga de datos y las burbujas de pipeline no dependen de los relojes del SM, así que el impacto real en el rendimiento es aún menor.
Cómo
sudo nvidia-smi -pl 550 # todas las GPUs de este nodo sudo nvidia-smi -pl 550 -i 3 # solo la GPU 3
Los límites se pierden al reiniciar salvo que los gestione tu aprovisionamiento o las políticas de DCGM.
Advertencias: limita todas las GPUs de un trabajo. Limitar una crea un straggler. Y mide tokens por joule, no solo tokens por segundo.
Úsalo en una misión
Relacionado
Fuentes y lecturas adicionales
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.