性能#

当吞吐、显存、placement 或大模型训练效率成为瓶颈时,使用这些指南。

指南

内容

自动 Placement

为训练负载自动选择最优 placement。

动态调度

训练过程中动态调度资源。

Profiling

对 Ray worker 进程进行系统级 profiling。

5D 并行

为大模型配置 5D 并行。

LoRA

使用 LoRA adapter 训练。