Setenta mil millones de razones

Un modelo de 70B en 32 GPUs: no cabe. Elige una estrategia de paralelismo que quepa y corra rápido.

Briefingclic para contraer

Tienes 4 nodos × 8 H100 (80 GB) y un modelo de 70B parámetros para entrenar. Con paralelismo de datos simple cada GPU necesitaría ~1.2 TB. Da OOM al instante.

Diseña una distribución en paralelo que quepa en memoria y alcance ≥ 35% de MFU en las 32 GPUs. Opciones de train.py: --tp (paralelismo tensorial), --pp (paralelismo de pipeline), --zero 0-3, --micro-batch, --grad-accum, --ckpt.

Recuerda: dp = 32 / (tp × pp), NVLink solo existe dentro de un nodo y las 80 capas deben repartirse por igual entre las etapas del pipeline.

tiempo sim. 0:20energía 0.05 kWhcosto $0.16carbono 0.02 kg CO₂e

Clúster4 × 8 H100 SXM 80GB · IB-NDR

node-1

inactivo

node-2

inactivo

node-3

inactivo

node-4

inactivo

0%100% util▲ limitada✕ perdidatoca una GPU para ver detalles

Misión: Setenta mil millones de razones. Eres ops@login-1 con sudo.

Escribe `help` para ver comandos y `cat README.md` para las notas. Los objetivos se verifican solos (panel derecho). La salida de la terminal está en inglés, como en un clúster real.

ops@login-1:~$

Objetivos0/2 cumplidos

Un trabajo de 70B entrena en 32 GPUs sin OOM
…con ≥ 35% de MFU

−33 pts cada una

Alertas1 activas

JobFailed job 101 · warning

Job 101 (llama70b) failed with exit code 1:0

Panelesúltimos 20s · pasa el cursor para ver valores

Rendimiento de entrenamiento0 tok/s

MFU (mejor trabajo)0.0%

Utilización media de GPU0%

Potencia de la instalación9.2 kW

GPU más caliente33°C