评测#

RLinf 提供统一的具身智能评测入口,支持在仿真或真机环境中并行 rollout,并输出任务级成功率等指标。本模块介绍如何安装环境、快速跑通第一个评测,以及在各 benchmark 上完成完整评测流程。

支持的 Benchmark

下表列出 evaluations/ 目录中已提供示例配置、且可通过 run_eval.sh 直接启动的 benchmark。

Benchmark

任务 / 环境配置

示例配置文件

RealWorld

realworld_franka_sft_envrealworld_bin_relocation

realworld/realworld_eval.yamlrealworld/realworld_pnp_eval.yamlrealworld/realworld_pnp_eval_dreamzero.yaml

BEHAVIOR-1K

behavior_r1pro

behavior/behavior_openpi_pi05_eval.yaml

LIBERO

libero_spatiallibero_objectlibero_goallibero_10

libero/libero_spatial_openpi_pi05_eval.yaml

ManiSkill OOD

maniskill_ood_template (分布外泛化评测)

maniskill/maniskill_ood_openvlaoft_eval.yaml

PolaRiS

polaris_droid_tapeintocontainerpolaris_droid_movelattecup

polaris/polaris_tapeintocontainer_openpi_pi05_eval.yamlpolaris/polaris_movelattecup_openpi_eval.yaml

RoboTwin

robotwin_place_empty_cuprobotwin_adjust_bottlerobotwin_place_shoerobotwin_click_bell

robotwin/robotwin_place_empty_cup_openvlaoft_eval.yaml

LIBERO 变体: 标准 LIBERO、LIBERO-PRO、LIBERO-PLUS 均支持,通过环境变量切换(见 LIBERO 评测)。

配置回退:evaluations/<benchmark>/<config>.yaml 不存在,run_eval.sh 会自动回退到 examples/embodiment/config/ 下同名配置,便于复用训练配置做评测。

快速入门#

页面

内容

概览

评测架构与 evaluations/ 目录结构。

安装

环境安装与 benchmark 专属环境变量。

快速上手

5 分钟跑通 LIBERO Spatial 评测。

Benchmark 指南#

按 benchmark 组织的完整评测流程(环境准备 → 配置 → 启动 → 查看结果):

Benchmark

流程

RealWorld

Franka 真机评测与部署。

BEHAVIOR-1K

BEHAVIOR-1K 评测。

LIBERO

LIBERO / LIBERO-PRO / LIBERO-PLUS。

ManiSkill OOD

ManiSkill 分布外泛化评测。

PolaRiS

PolaRiS 桌面操作。

RoboTwin

RoboTwin 双臂操作。

参考#

页面

内容

配置

Hydra YAML 结构与必填字段。

CLI

run_eval.sh 用法与 Hydra 覆盖。

模型

支持的模型与示例配置。

结果

日志、指标与视频输出。

相关文档#

资源

位置

各 benchmark 的环境搭建与训练示例

基于模拟器的具身强化学习

环境安装详情

安装说明

数学推理 LLM 评测(非具身)

LLMEvalKit

模型专属 standalone 评测脚本(非统一入口)

toolkits/standalone_eval_scripts/