InfiniBand y RoCE

Leerlo en el Capítulo 1 · checkpoint +50 XP →

La red de escalado: redes RDMA que mueven tensores entre servidores sin involucrar a la CPU.

Entre servidores, las GPUs se comunican por una red de escalado (scale-out). Dominan dos familias:

• InfiniBand (IB): una red RDMA diseñada para esto. NDR funciona a 400 Gb/s por puerto con latencia muy baja y control de flujo sin pérdidas basado en créditos.
• RoCE v2: RDMA sobre Ethernet convergente. La misma API de verbs sobre Ethernet. Requiere configuración cuidadosa (PFC/ECN) para no perder paquetes, pero es más barata y conocida por los equipos de redes.

Los servidores de entrenamiento modernos conectan una NIC de 400G por GPU (diseño rail-optimized), así que cada GPU obtiene ~50 GB/s de ancho de banda de escalado vía GPUDirect RDMA.

Lista de verificación

• ibstat debe mostrar cada puerto Active / LinkUp a la velocidad esperada.
• NCCL registra NET/IB cuando usa RDMA y NET/Socket cuando recurrió a TCP, una clásica ralentización silenciosa de 10× (a menudo por NCCL_IB_DISABLE=1 o una mala configuración de HCA).
• Si un puerto se cae a mitad de un trabajo, las colectivas se cuelgan hasta que expira el watchdog de NCCL.

Úsalo en una misión

Relacionado

Fuentes y lecturas adicionales

• NCCL User Guide
• Distributed Training (T. Tsugriy) — parallelism strategies, collectives, memory
• Modal GPU Glossary — hardware and software vocabulary

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.