Topología del clúster
Leerlo en el Capítulo 1 · checkpoint +50 XP →
Cómo se cablean nodos, switches y enlaces: fat trees, diseños rail-optimized y por qué la sobresuscripción castiga a las colectivas.
La red de un clúster de GPU suele ser un fat tree. Los switches leaf conectan servidores y los switches spine conectan los leaf. Si la capacidad hacia arriba iguala a la de hacia abajo, la red es sin bloqueo (1:1). Los diseños más baratos sobresuscriben (p. ej. 2:1), lo que está bien para tráfico web y es doloroso para all-reduce, donde todos transmiten a la vez.
Los diseños rail-optimized conectan la NIC i de cada servidor al mismo switch leaf ("rail i"). Así, los algoritmos de anillo y árbol de NCCL mantienen la mayor parte del tráfico en un solo rail, a un salto de distancia.
Reglas prácticas
- La jerarquía de ancho de banda (HBM ≫ NVLink ≫ IB ≫ almacenamiento) debe corresponder a la jerarquía de paralelismo. Ver paralelismo tensorial, paralelismo de pipeline y paralelismo de datos.
- Ten capacidad de sobra. Un nodo de repuesto encendido convierte una falla de hardware en un requeue en lugar de una caída. Ver Checkpointing y tolerancia a fallas.
- La potencia y la refrigeración también son topología. Los racks tienen presupuestos de kW, y la refrigeración líquida cambia lo que cabe. Ver energía y carbono.
Úsalo en una misión
Relacionado
Fuentes y lecturas adicionales
- Distributed Training (T. Tsugriy) — parallelism strategies, collectives, memory
- NCCL User Guide
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.