基于 RoboCasa 的强化学习训练

RoboCasa（图片来源：RoboCasa）。

RoboCasa 是基于 robosuite 的厨房操作基准，包含多样化布局、 物体和原子任务。你将使用 RLinf 在 RoboCasa CloseDrawer 任务上，通过 PPO 微调 OpenPI π₀ 策略。

概览

在 RoboCasa 的移动操作厨房任务上微调 OpenPI π₀。

模型

π₀

算法

PPO

任务

CloseDrawer

硬件

1 节点 · 8 GPUs

你将完成： 安装 → 下载厨房资产 + 模型 → 启动 run_embodiment.sh → 观察 env/success_once。

前置条件： 安装 · RoboCasa 厨房资产 · SFT 检查点。

任务

任务	描述
CloseDrawer	使用 PandaOmron 移动机械臂关闭厨房抽屉。

观测与动作

字段	规格
观测	默认两个 RGB 视角（224×224 的 base_image 和 wrist_image）以及 25 维本体状态。
动作	12 维连续动作：机械臂位置增量、机械臂旋转增量、夹爪、底座控制和模式选择。
奖励	稀疏任务完成奖励。
提示词	RoboCasa 任务生成的自然语言指令。

备注

RoboCasa 包含更多原子任务，但当前公开的 RLinf 配方使用 examples/embodiment/config/robocasa_closedrawer_ppo_openpi.yaml 训练 CloseDrawer。

安装

首先，克隆 RLinf 仓库：

# 为提高国内下载速度，可以使用镜像：
# git clone https://ghfast.top/github.com/RLinf/RLinf.git
git clone https://github.com/RLinf/RLinf.git
cd RLinf

然后，使用下列两种方式之一准备依赖：预构建的 Docker 镜像（推荐）或自定义环境。 通用的安装流程（前置依赖、GPU 驱动、镜像内置的 switch_env 工具、镜像加速、常见问题排查） 在 安装说明 中统一说明；本方案中的命令仅在 Docker 镜像标签和 --env 取值上有所不同。

Docker 镜像

docker run -it --rm --gpus all \
   --shm-size 32g \
   --network host \
   --name rlinf \
   -v .:/workspace/RLinf \
   rlinf/rlinf:agentic-rlinf0.3-robocasa

# 国内用户可使用：
# docker.1ms.run/rlinf/rlinf:agentic-rlinf0.3-robocasa

在镜像中切换到 OpenPI 虚拟环境：

source switch_env openpi

自定义环境

安装 RoboCasa 与 OpenPI 依赖：

# 国内用户可添加 --use-mirror。
bash requirements/install.sh embodied --model openpi --env robocasa
source .venv/bin/activate

安装 RoboCasa 后下载厨房资产：

python -m robocasa.scripts.download_kitchen_assets

警告

RoboCasa 厨房资产约 5 GB。启动训练前只需下载一次。

下载模型

下载 OpenPI π₀ 检查点：

cd /path/to/save/model

git lfs install
git clone https://huggingface.co/RLinf/RLinf-Pi0-RoboCasa

# 或使用 huggingface-hub：
# export HF_ENDPOINT=https://hf-mirror.com
pip install huggingface-hub
hf download RLinf/RLinf-Pi0-RoboCasa --local-dir RLinf-Pi0-RoboCasa

下载完成后，在配置 YAML 中指向该检查点——为 rollout 与 actor 两处模型设置相同的路径：

rollout:
   model:
      model_path: /path/to/downloaded-checkpoint
actor:
   model:
      model_path: /path/to/downloaded-checkpoint

运行

启动 CloseDrawer 配方：

配方	配置	命令后缀
OpenPI π₀ + PPO	examples/embodiment/config/robocasa_closedrawer_ppo_openpi.yaml	robocasa_closedrawer_ppo_openpi

bash examples/embodiment/run_embodiment.sh robocasa_closedrawer_ppo_openpi

这条命令会：

1. 使用 RoboCasa Hydra 配置启动 embodied 训练入口。

2. 为 actor、rollout 和 RoboCasa env 组件创建 Ray worker。

3. 运行 PPO rollout，计算稀疏任务奖励，并更新 OpenPI 策略。

独立评测请使用统一的 Evaluation CLI， 通过配置回退机制复用相同后缀 robocasa_closedrawer_ppo_openpi。

备注

默认配置使用 actor,env,rollout: all 共置。请根据 GPU 显存预算调整 env.train.total_num_envs、env.eval.total_num_envs 和 actor.global_batch_size。

可视化与结果

在 RLinf 仓库根目录启动 TensorBoard：

tensorboard --logdir ../results --port 6006

关键指标是 env/success_once。完整指标说明见 训练指标。

如需保存 rollout 视频，请在环境配置中启用 video：

video_cfg:
  save_video: True
  info_on_video: True
  video_base_dir: ${runner.logger.log_path}/video/train

如需启用 W&B 或 SwanLab，请添加 logger backend：

runner:
  logger:
    logger_backends: ["tensorboard", "wandb"]  # or swanlab

备注

本页面暂未发布固定的 RoboCasa 成功率表。请使用 env/success_once 和评估视频比较运行结果。