版本说明

RLinf v0.3 版本发布

🎉 我们发布 RLinf v0.3。

本版本打通完善的真机训练全流程、新增真机强化学习组件及算法，仿真强化学习新增更多的仿真器和 SOTA 模型。该版本对已支持的各类examples进行了严格的正确性与可复现性验证（见release note末尾）。

具身

1. 模型

继续扩展模型生态，新增 6 款具身模型支持，涵盖世界模型、VLA 模型及系统级加速

• 新增 Dexbotic DM0 模型支持，在 LIBERO 上用 PPO 进行在线 RL 微调。链接：Dexbotic

• 新增 DreamZero 模型支持：基于 WAN2.1/2.2 视频生成世界模型微调的 VLA 策略，集成进 SFT 工作流，通过 FSDP2/CUDA Graph 等系统级加速取得近 4× 吞吐提升。链接：DreamZero SFT

• 新增 GR00T-N1.6 / N1.7 模型 RL 微调支持。链接：GR00T

• 新增 ABot-M0 模型支持。链接：ABot-M0

• 新增 StarVLA 模型支持（GRPO on LIBERO）。链接：StarVLA

• 新增 LingBot-VLA 模型支持（RoboTwin 环境 SFT/RL）。链接：LingBot-VLA

2. 仿真器

提升仿真强化学习的场景覆盖，新增 5 种仿真器，完善基于仿真器的训练示例与效果

• 新增 Genesis 仿真器支持。链接：Genesis

• 新增 Polaris 仿真器支持。链接：Polaris

• 新增 RoboVerse 仿真器支持。链接：RoboVerse

• 完善 Behavior 环境支持：新增 v3.7.1 / v3.7.2 版本补丁、π0.5 PPO 配置与 object/pose randomization。链接：Behavior

• 新增 Libero+ / LiberoPro 变体环境支持。链接：LIBERO

• 新增 Embodichain（CartPole） 环境支持。链接：Embodichain

• 新增 IsaacLab 上 π0.5 PPO finetuning 支持。链接：IsaacLab

• 新增 RoboCasa close-drawer 等 RL 示例支持。链接：RoboCasa

3. 真机

全面打通数据采集 → SFT → RL → 真机部署的闭环链路，新增 3 种遥操作方式、3 款真机平台、2 款末端执行器，真机实操能力显著增强

数据采集支持：

• 新增 空间鼠标（Spacemouse） 遥操作数据采集支持。链接：Franka

• 新增 VR 遥操作 数据采集支持。链接：Franka VR

• 新增 GELLO 遥操作 数据采集支持。链接：Franka GELLO

训练链路支持：

• 新增 LeRobot 格式数据采集 支持，便于与 HuggingFace LeRobot 生态互通。链接：Data Collection

• 新增 Pi0 真机 SFT 部署 支持，打通数据采集 → SFT → 真机部署链路。链接：Franka Pi0 SFT Deploy

• 新增 真机 reward model 数据采集 支持（采集带标注 reward 训练数据）。链接：Franka Reward Model

真机平台与末端支持：

• 新增 双臂 Franka 平台支持（关节空间与 TCP/rot6d 控制、数据采集、SFT、部署）。链接：Dual Franka

• 新增 GimArm 真机平台支持。链接：GimArm

• 新增 DOS-W1 真机平台支持。链接：DOS-W1

• 新增 Franka DexHand 灵巧手 末端执行器支持。链接：Franka DexHand

• 新增 Franka Robotiq 夹爪后端支持。链接：Franka Robotiq

• 新增 Franka Robotiq 及 ZED / LUMOS V4L2 相机与夹爪后端支持。链接：Franka ZED/Lumos

4. 算法

在真机 RL、仿真 RL 和人在环学习三个方向均有重要算法新增，表现出SOTA的真机任务成功率

真机强化学习算法：

• 将 DSRL （Diffusion Steering via Reinforcement Learning）扩展至 Pi0.5 模型。链接：DSRL

• 新增 RECAP （基于离线优势估计的策略优化）训练流水线支持。链接：RECAP

• 新增 SAC-Flow 算法支持，并扩展到 DOS-W1 等真机场景。链接：SAC-Flow

仿真强化学习算法：

• Async PPO：在 v0.2 基础上扩展支持 MLP 等新策略，并新增 async DSRL 配置。链接：Async PPO

• 新增 Pi-StepNFT 算法支持。

• 新增 D4RL 离线 IQL 训练支持（Antmaze / Kitchen-Adroit / MuJoCo，基于 FSDPStrategy）。链接：IQL-D4RL

人在环学习：

• 新增 DAgger 在线模仿学习算法支持（LIBERO、ManiSkill、RoboTwin、真机 PnP 多场景）。链接：DAgger

• 新增 HG-DAgger （Human-Gated DAgger）真机在线训练支持。链接：HG-DAgger

5. 系统

系统层面新增多项性能优化技术，完善昇腾、AMD ROCm、Musa 等加速芯片的支持，整体系统健壮性和可扩展性大幅提升

新增组件支持：

• 新增 Reward Model 组件支持：embodied reward worker + ResNet/VLM reward model，支持 standalone reward 用于 realworld env。链接：Reward Model

• 新增 Value Model 组件支持：通用 value model 基础设施，支撑 RECAP 等流水线。链接：RECAP

• 新增 SGLang 推理 server 化 组件支持（HTTP server + router 模式，可作 reward 服务/rollout 推理后端）。链接：SGLang Server

• 新增 Decoupled env 模式 组件支持（解除 Env Worker 与 Rollout Worker 一对一绑定，提升 rollout GPU 利用率）。链接：Env Decoupled Mode

性能与显存优化支持：

• 新增 π0 / π0.5 predict 的 torch.compile 加速支持。

• 新增 rollout 与训练 overlap 支持（含 bootstrap-training overlap 与 embodied pipeline 下的 advantage normalization）。

• 新增 权重同步升级：基于 broadcast 的 weight sync、weight diff patch 增量同步、分桶（bucket）同步、仅同步 trainable params 与 buffers、async wait。链接：Weight Syncer

• 新增 FSDP 全 offload 支持，并修复 checkpoint/SFT dataloader resume、actor offload 状态恢复与 GPU 显存泄漏。

• 新增 nsys trace、统一 accelerator profiling、metrics logging file 等运行时与 profiling 支持。链接：GPU Profiling

国产卡与跨硬件支持：

• 新增 昇腾 Ascend（CANN / torch-npu） 端到端可运行支持（install.sh --platform ascend、agentic-rlinf0.3-libero-cann9.0 CANN Docker 镜像）。链接：Ascend CANN

• 新增 Musa 设备上运行世界模型 Wan RL 的支持。

• 新增 AMD ROCm 端到端可运行支持（install.sh --platform amd，自动探测 ROCm 版本并匹配 +rocm wheel）。链接：AMD ROCm

配置与调度：

• 新增 自定义模型注册 与 override cfgs 支持，提升配置灵活性与可扩展性。链接：New Model (FSDP)

• 新增 基于 Ray cluster 的代码同步 支持（RLINF_CODE_WORKING_DIR，不共享文件系统时自动下发 rlinf/ 包）。

• 新增 SFT 工作流重构：统一 SFT loss/metrics API，修复 SFT 数据加载 resume。

Agentic AI

为智能体 RL 场景提供了更强大的训练和评测基础

• 新增 AgentLightning 多轮单智能体 RL 训练 与 Calc-X 评测支持。链接：AgentLightning Calc-X

• 新增 Megatron-Bridge actor 后端 支持（基于 Megatron-mbridge 模型的 RL 训练与 SFT）。链接：Megatron-Bridge

• 将 SearchR1 重构为多轮接口，并新增 WideSeek judge 的内置 sglang 支持。

论文

有 2 篇论文被 OSDI 2026 收录：

• RLinf: Flexible and Efficient Large-Scale Reinforcement Learning via Macro-to-Micro Flow Transformation （OSDI 2026）。对应 RLinf 大规模 RL 系统。文档：RLinf 系统 ｜ 论文：arXiv:2509.15965 ｜ OSDI 报告。

• DynaRL: Flexible and Dynamic Scheduling of Large-Scale Reinforcement Learning Training （OSDI 2026）。对应 RLinf 的 dynamic scheduling 功能。文档：Dynamic Scheduling ｜ OSDI 报告。

另有 2 篇论文被 RSS 2026 收录：

• USER: A Unified and Extensible System for Online Real-World Policy Learning in Embodied AI （RSS 2026，即 RLinf-USER）。对应 RLinf 真机在线策略学习系统。文档：RLinf-USER ｜ 论文：arXiv:2602.07837 ｜ RSS 论文页。

• RLux-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models （RSS 2026，即 RLinf-VLA）。对应 RLinf 的 VLA+RL 统一框架。文档：RLinf-VLA ｜ 论文：arXiv:2510.06710 ｜ RSS 论文页。

重要修复

v0.3 修复了若干影响训练稳定性与数据/采集正确性的问题，建议大家升级到最新版以获取这些修复。主要包括：

• 修复 behavior env 中纹理缺失/模糊、资产在 config validation 阶段提前加载、TRO state 的 dump/load 不对称等问题。

• 修复 openpi 评测工具链在读取配置字典时的导入错误。

• 修复 openpi 模型 gradient checkpointing 需手动关闭的问题。

• 修复轨迹拆分后发往 actor 时的返回类型错误。

• 统一夹爪动作（gripper action）格式，并修复数据采集时夹爪初始开合状态错误。

• 修复 maniskill 在环境 offload 后视频计数器状态过期的问题。

• 修复 SAC actor worker 中 send_num 误用 world size 的问题。

• 修复 env 初始化后未正确触发 offload 的问题，以及 rollout 时 actor 预留显存未释放的问题。

• 修复 CUDA IPC memory 通信后未回收、broadcast 未约束同 device、AMD GPU 可见设备环境变量配置等系统侧问题。

• 修复 weight sync 与 actor barrier 间的死锁。

• 修复 FSDP 的 checkpoint resume、actor offload 状态恢复与 GPU 显存泄漏等问题。

贡献者

@andylin-hao @guozhen1997 @zhexuanxu @anHappyDog @Brunch-Life @thereAreDemonsNearby @yushuang20091011 @qurakchin @zanghz21 @F9rozen @FxxxxU @jx-qiu @Lin-xs @tiny-xie @lwbscu @QuanluZhang @kunni918 @Iron-Wph @secretsites @ligediaomao @ZhaoRunyi @duzhengye-droid @fy2462 @matthewmzy @chenkang455 @weiyunfei @XuS1994 @pikaxinge @drewzhao @WayneTimer @Matrix326 @pancake-w @lizuojun04 @MrHappa @HzfFrank @renq-mt @liuhaoyunBUPT @yxuan1234 @crabxiexy @MuggleZzzH @ppppppppppper @xb534 @zhigenzhao @wingAGI @aasivas @git-xuxin @LiuZhihao2022 @pyy233 @Dps799 @yangchen73 @jeis4wpi @NLC2004 @AIhuaYuan @zjk-prog @YimingZhou2002 @Walkism @slzhta @iamxjy @YifWRobotics @AlphaReimu @hongyuxiyohung @WinstonWmj @jzndd @Elessar123

RLinf v0.3 测试结果

我们测试了大多数配置文件，以保证本次发布中所提供示例的正确性。

配置文件	模型名称	结果曲线
maniskill_ppo_openpi.yaml	RLinf-Pi0-ManiSkill-25Main-SFT
maniskill_ppo_openpi_pi05.yaml	RLinf-Pi05-ManiSkill-25Main-SFT
maniskill_ppo_openvla.yaml	openvla-7b
maniskill_ppo_openvlaoft.yaml	RLinf-OpenVLAOFT-ManiSkill-Base-Main
maniskill_ppo_mlp.yaml	None
maniskill_grpo_openvla.yaml	openvla-7b
maniskill_grpo_openvlaoft.yaml	RLinf-OpenVLAOFT-ManiSkill-Base-Main
libero_goal_ppo_openpi.yaml	RLinf-Pi0-LIBERO-130-fullshot-SFT
libero_goal_ppo_openpi_pi05.yaml	RLinf-Pi05-LIBERO-SFT
libero_10_ppo_gr00t.yaml	RLinf-Gr00t-SFT-Long
calvin_abcd_d_ppo_openpi_pi05.yaml	RLinf-Pi05-CALVIN-ABC-D-SFT
robotwin_place_empty_cup_ppo_openvlaoft.yaml	RLinf-OpenVLAOFT-RoboTwin-SFT-place_empty_cup
robotwin_beat_block_hammer_grpo_openvlaoft.yaml	RLinf-OpenVLAOFT-RoboTwin-SFT-beat_block_hammer
isaaclab_franka_stack_cube_ppo_gr00t.yaml	RLinf-Gr00t-SFT-Stack-cube
gsenv_ppo_openpi_pi05.yaml	RLinf-Pi05-GSEnv-PutCubeOnPlate-V0-SFT
frankasim_ppo_mlp.yaml	RLinf-ResNet10-pretrained
frankasim_sac_cnn_async.yaml	RLinf-ResNet10-pretrained
maniskill_async_ppo_openpi.yaml	RLinf-Pi0-ManiSkill-25Main-SFT
maniskill_async_ppo_openpi_pi05.yaml	RLinf-Pi05-ManiSkill-25Main-SFT
maniskill_async_ppo_openvla.yaml	openvla-7b
maniskill_async_ppo_openvlaoft.yaml	Openvla-oft-SFT-libero10-trajall
maniskill_sac_mlp.yaml	None
libero_spatial_async_ppo_openpi.yaml	RLinf-Pi0-LIBERO-Spatial-Object-Goal-SFT
libero_object_async_ppo_openpi_pi05.yaml	RLinf-Pi05-LIBERO-SFT
libero_spatial_grpo_openpi_pi05.yaml	RLinf-Pi05-SFT
libero_10_grpo_openvlaoft.yaml	Openvla-oft-SFT-libero10-traj1
opensora_libero_spatial_grpo_openvlaoft.yaml	Openvla-oft-SFT-libero-spatial
wan_libero_spatial_grpo_openvlaoft.yaml	Openvla-oft-SFT-libero-spatial
examples/sft/config/qwen2_5_vl_sft_vlm.yaml	Qwen/Qwen2.5-VL-3b-Instruct
examples/sft/config/qwen3_vl_sft_vlm.yaml	Qwen/Qwen3-VL-4b-Instruct
examples/reasoning/config/math/qwen2.5-1.5b-ppo-megatron.yaml	Qwen/Qwen2.5-1.5B-Instruct
maniskill_sac_mlp_resnet_reward_async.yaml	None
maniskill_sac_mlp_async_decoupled.yaml	None
libero_spatial_grpo_starvla.yaml	StarVLA (Qwen2.5-VL-OFT-LIBERO-4in1)
libero_spatial_ppo_gr00t_n1d6.yaml	GR00T-N1.6
libero_spatial_dagger_openpi.yaml	RLinf-Pi0-LIBERO-Spatial-Object-Goal-SFT
robotwin_place_shoe_grpo_lingbotvla.yaml	LingBot-VLA-4B
genesis_cubepick_ppo_cnn.yaml	RLinf-ResNet10-pretrained
d4rl_iql_kitchen_adroit.yaml	IQL
examples/sft/config/libero_sft_dreamzero_5b.yaml	DreamZero-5B
examples/sft/config/qwen2_5_vl_megatron_sft_vlm.yaml	Qwen2.5-VL
examples/agent/agentlightning/calc_x/config/qwen2.5-1.5b-enginehttp-multiturn.yaml	Qwen2.5-1.5B
examples/agent/searchr1/config/train_qwen2.5.yaml	Qwen2.5

快速开始

• 百度智能云：https://cloud.baidu.com/doc/AIHC/s/fmrenj9u1

• 无问芯穹：https://docs.neogpu.com/posts/rlinf-ppo-vla.html