Rollout 引擎#
这些指南介绍如何启动 RLinf rollout 通过 HTTP 访问的推理引擎——既可以与训练任务一起拉起,也可以独立于训练运行——以及对应的客户端调用方式。
指南 |
你能得到什么 |
|---|---|
启动一组 sglang HTTP server 与一个 sglang router,对外暴露统一的、兼容 OpenAI 风格的
|
|
在自己的代码里向 router(或单个 server)发送同步/异步的
|
|
在不同 SGLang 版本之间切换 rollout 引擎。 |
这些指南介绍如何启动 RLinf rollout 通过 HTTP 访问的推理引擎——既可以与训练任务一起拉起,也可以独立于训练运行——以及对应的客户端调用方式。
指南 |
你能得到什么 |
|---|---|
启动一组 sglang HTTP server 与一个 sglang router,对外暴露统一的、兼容 OpenAI 风格的
|
|
在自己的代码里向 router(或单个 server)发送同步/异步的
|
|
在不同 SGLang 版本之间切换 rollout 引擎。 |