PCIe

Leerlo en el Capítulo 1 · checkpoint +50 XP →

El bus de uso general entre CPU, GPU, NIC y NVMe. Está en todas partes, pero es un orden de magnitud más lento que NVLink.

PCI Express conecta las GPUs con la CPU del host, las NIC y el almacenamiento. Un enlace Gen5 x16 mueve ~64 GB/s por dirección; Gen4 x16, ~32 GB/s. Es suficiente para cargar datos, pero lento para el tráfico GPU a GPU durante el entrenamiento.

Por qué importa

• Las GPUs sin NVLink (p. ej. L40S) deben hacer todo el tráfico entre pares por PCIe, a menudo pasando por el root complex de la CPU. El paralelismo tensorial sufre mucho.
• GPUDirect RDMA permite que una NIC lea y escriba la memoria de la GPU directamente por PCIe, sin pasar por la memoria del host. Los buenos servidores ponen cada GPU con una NIC bajo el mismo switch PCIe. Compruébalo con nvidia-smi topo -m.
• "Fallen off the bus" (Xid 79) significa literalmente que la GPU desapareció de PCIe.

Relacionado

Fuentes y lecturas adicionales

• Modal GPU Glossary — hardware and software vocabulary
• PRACE Best Practice Guide – GPGPU — GPU programming and tuning practice for HPC

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.