性能#
当吞吐、显存、placement 或大模型训练效率成为瓶颈时,使用这些指南。
指南 |
内容 |
|---|---|
为训练负载自动选择最优 placement。 |
|
训练过程中动态调度资源。 |
|
对 Ray worker 进程进行系统级 profiling。 |
|
为大模型配置 5D 并行。 |
|
使用 LoRA adapter 训练。 |
|
解耦 Env Worker 与 Rollout Worker,用于具身任务中的动态 rollout 调度。 |
当吞吐、显存、placement 或大模型训练效率成为瓶颈时,使用这些指南。
指南 |
内容 |
|---|---|
为训练负载自动选择最优 placement。 |
|
训练过程中动态调度资源。 |
|
对 Ray worker 进程进行系统级 profiling。 |
|
为大模型配置 5D 并行。 |
|
使用 LoRA adapter 训练。 |
|
解耦 Env Worker 与 Rollout Worker,用于具身任务中的动态 rollout 调度。 |