评测#

RLinf 提供统一的具身智能评测入口,支持在仿真或真机环境中并行 rollout,并输出任务级成功率等指标。本模块介绍如何安装环境、快速跑通第一个评测,以及在各 benchmark 上完成完整评测流程。

支持的 Benchmark

下表列出 evaluations/ 目录中已提供示例配置、且可通过 run_eval.sh 直接启动的 benchmark。

Benchmark

任务 / 环境配置

示例配置文件

RealWorld

realworld_franka_sft_envrealworld_bin_relocation

realworld/realworld_eval.yamlrealworld/realworld_pnp_eval.yamlrealworld/realworld_pnp_eval_dreamzero.yaml

BEHAVIOR-1K

behavior_r1pro

behavior/behavior_openpi_pi05_eval.yaml

LIBERO

libero_spatiallibero_objectlibero_goallibero_10

libero/libero_spatial_openpi_pi05_eval.yaml

ManiSkill OOD

maniskill_ood_template (分布外泛化评测)

maniskill/maniskill_ood_openvlaoft_eval.yaml

PolaRiS

polaris_droid_tapeintocontainerpolaris_droid_movelattecup

polaris/polaris_tapeintocontainer_openpi_pi05_eval.yamlpolaris/polaris_movelattecup_openpi_eval.yaml

RoboTwin

robotwin_place_empty_cuprobotwin_adjust_bottlerobotwin_place_shoerobotwin_click_bell

robotwin/robotwin_place_empty_cup_openvlaoft_eval.yaml

LIBERO 变体: 标准 LIBERO、LIBERO-PRO、LIBERO-PLUS 均支持,通过环境变量切换(见 LIBERO 评测)。

配置回退:evaluations/<benchmark>/<config>.yaml 不存在,run_eval.sh 会自动回退到 examples/embodiment/config/ 下同名配置,便于复用训练配置做评测。

快速入门#

  • 概览 — 评测架构与 evaluations/ 目录结构

  • 环境安装 — 环境安装与 benchmark 专属环境变量

  • 快速体验 — 5 分钟跑通 LIBERO Spatial 评测

Benchmark 指南#

按 benchmark 组织的完整评测流程(环境准备 → 配置 → 启动 → 查看结果):

参考#

相关文档#