Colección de skills de NVIDIA

Nemo Mbridge Perf Activation Recompute

Configura y valida el recálculo de activaciones en Megatron Bridge para reducir memoria GPU.

Nemo Mbridge Perf Cpu Offloading

Configura y valida la descarga de activaciones y estados del optimizador a CPU en Megatron Bridge.

Nemo Mbridge Perf CUDA Graphs

Configura y valida la captura de grafos CUDA en Megatron Bridge.

Nemo Mbridge Perf Expert Parallel Overlap

Configura el solapamiento de comunicación entre expertos MoE en Megatron Bridge.

Nemo Mbridge Perf Hierarchical Context Parallel

Activa y verifica el paralelismo de contexto jerárquico en Megatron Bridge.

Nemo Mbridge Perf Megatron Fsdp

Activa y verifica Megatron FSDP en Megatron Bridge.

Nemo Mbridge Perf Memory Tuning

Reduce picos de memoria GPU en Megatron Bridge mediante paralelismo, recálculo y descarga a CPU.

Nemo Mbridge Perf Moe Comm Overlap

Ajusta el solapamiento de distribución, combinación y cálculo de gradientes entre expertos MoE.

Nemo Mbridge Perf Moe Dispatcher Selection

Selecciona el distribuidor de tokens MoE según hardware, paralelismo y fase de optimización.

Nemo Mbridge Perf Moe Hardware Configs

Usa recetas de entrenamiento MoE como punto de partida y vuelve a validar entorno, topología y rendimiento.

Nemo Mbridge Perf Moe Long Context

Configura entrenamientos MoE con contextos largos en Megatron Bridge.

Nemo Mbridge Perf Moe Optimization Workflow

Optimiza rendimiento MoE mediante mediciones, perfiles, comparaciones equivalentes y validación final.

Nemo Mbridge Perf Moe Vlm Training

Entrena modelos multimodales MoE en Megatron Bridge y compara enfoques de paralelismo.

Nemo Mbridge Perf Parallelism Strategies

Selecciona y combina estrategias de paralelismo Megatron Bridge según tamaños y topología del hardware.

Nemo Mbridge Perf Sequence Packing

Valida secuencias empaquetadas y entrenamiento de contexto largo en Megatron Bridge.

Nemo Mbridge Perf Tp Dp Comm Overlap

Activa y verifica el solapamiento de comunicación TP, DP y PP en Megatron Bridge.

Nemo Mbridge Recipe Recommender

Adapta recetas Megatron Bridge al modelo, las GPU, el contexto y el objetivo de entrenamiento.

Nemo Mbridge Resiliency

Configura tolerancia a fallos, detección de procesos lentos y reinicios en Megatron Bridge.

Nemo Relay Debug Runtime Integration

Diagnostica fallos de ejecución, eventos ausentes y problemas de plugins NeMo Relay.

Nemo Relay Get Started

Elige una guía inicial sencilla de NeMo Relay y verifica su instrumentación antes de producción.