Planificación fair-share
Leerlo en el Capítulo 2 · checkpoint +50 XP →
Políticas del planificador que equilibran el acceso entre equipos según lo que les corresponde y lo que usaron recientemente.
En un clúster compartido, "el primero que llega se sirve primero" permite que los 1,000 trabajos encolados de un equipo dejen sin recursos a todos los demás. La planificación fair-share (p. ej. la prioridad multifactor de Slurm) baja la prioridad de usuarios y cuentas que usaron recientemente más de lo que les toca, y ese uso decae con el tiempo.
Los ingredientes
- Shares: lo que le corresponde a cada cuenta, a menudo según financiamiento o tamaño del equipo.
- Decaimiento del uso: una vida media (p. ej. 7 días) para que el uso pasado se perdone gradualmente.
- Límites de QOS: topes de GPUs concurrentes, tiempo de pared o número de trabajos, para que ningún trabajo bloquee el clúster.
- Preemption: los trabajos de baja prioridad u oportunistas pueden guardar checkpoint y volver a la cola cuando llega trabajo prioritario. Solo funciona si los trabajos hacen Checkpointing y tolerancia a fallas bien.
La equidad también es transparencia: publica el uso por equipo, los tiempos de espera en cola y la energía, para que las discusiones de asignación usen datos en lugar de anécdotas.
Relacionado
Fuentes y lecturas adicionales
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.