RLinf待完成需求
输入“/”快速插入内容
RLinf待完成需求
RLinf待完成需求
用户5778用户5778
用户3483用户3483用户2026用户2026
用户8264用户8264用户6367用户6367
用户6809用户68097月16日修改
需求1: 完善PR 846-接入robocasa365
验收标准：1. 能跑起来环境，install 2. 某一个模型（pi、gr00t）能够eval出来成功率 3. RL曲线能起来，或者至少能跑起来。
算力需求：80GB*1-80GB*4
预估时长：2周
揭榜，揭榜人：
需求2: 接入PolaRiS 环境
验收标准：1. 能跑起来环境，install 2. 某一个模型（pi、gr00t）能够eval出来成功率 3. RL曲线能起来，或者至少能跑起来。
算力需求：80GB*1-80GB*4
预估时长：2-4周
揭榜，揭榜人： lizuojun，计算机系大三
需求3: 完善calvin仿真环境的RL训练支持
具体描述：calvin作为具身仿真环境分为多个场景，其中b和c场景目前暂不支持RL训练，问题描述见该issue。目前有两个思路，第一个是修改场景b和场景c的设置，包括桌子的抽屉位置等，需要修改物体文件；第二个思路是修改子任务的指令顺序以适配场景b和场景c。在该bug没有修复之前，我们pi rl也能够达到一个相当不错的成绩（eval成绩，在正确的场景d中测试的）。
验收标准：在场景a、b、c中有相近的rollout成功率。如果测试的Baselines（至少包含pi05和openvla-oft两个VLA模型）做得足够丰富也可以作为一篇benchmark的论文投稿或本科毕设。
算力需求：calvin的debug仅用单卡即可，后续rl训练需要80GB*4-80GB*8
预估时长：4周
揭榜，揭榜人：
【难】需求4: 修复PR 311
具体描述：RLbench PR，主要是系统有bug，需要修复，具体联系清姐。
验收标准：训练能不崩。
算力需求：80GB*8
预估时长：4周
揭榜，揭榜人：
需求5：复现一个off policy微调PI的工作
具体描述：智元在2月搞了个off policy微调pi05的工作：https://arxiv.org/pdf/2602.12691。这个工作可以直接使用TD error来update-Q，也对Q有一些结构上的设计（即Q chunk，也是我一直觉得最有可能成功的思路，被智元抢先了）。但是在estimate Q之后，没有直接用sac loss更新actor，而是做了ADV weighted imitation learning。但无论如何，这个处理Q的逻辑是可以参考的，也许可以在此基础上做一个sac learning版本的算法出来。
验收场景：
1.
复现这个工作中的Q，在libero等benchmark上获得和论文类似的Q可视化结果
2.
完全复现这个工作，在libero等benchmark上获得数据高效的训练曲线（我预估会有dagger相当的数据效率）
3.
（高阶目标）可以尝试把他的imitation loss换成sac loss，看结果会如何。
算力需求：2*80G（调通）-8*80G（调对）
预估时长：看能力，4～8周
揭榜，揭榜人： 苗钰卓 中关村学院
需求6：异步运控 on-policy RL 算法研究
具体描述：VLA chunk 推理可以提高性能，但 chunk 和 chunk 之间需要等待推理，不连续。目前在评估阶段，学界有异步运控的处理方案，如 RTC(https://arxiv.org/abs/2506.07339), RAIL-VLA(https://arxiv.org/abs/2512.24673v1) 等。异步运控可以让模型丝滑执行 action。然而，异步运控让rollout阶段的采样概率难以估计，因此对以 PPO 为代表的具有重要性采样的 on-policy 强化学习算法提出挑战。
可能思路：
1.
相信 PPO 能力
2.
异步运控通常是对相邻两个chunk做平滑，因此可考虑 (s, s') 的联合概率
验收场景：
1.
在 RLinf 里实现 pi0 RTC 异步运控（仿真+真机）
2.
仿真 maniskill 模拟异步运控 setting，测试 pi0 PPO 效果，作为基础效果