TODOs

[Alex-Beng]

Update on 2024.06.30

• [ ] use dinput rather than interception in recording

• [ ] simple replay test

Update on 2024.05.14

• [ ] make CNNMLP work

• [ ] add critic

• [x] 把readme所有todo移进来

• [x] 统一config文件而不是命令行

  • [x] detr里的
  • [x] 训练脚本里的

• [x] factored action space + 仅norm鼠标

• [x] real env implement

  ---

Algorithm 相关：

• [ ] Behavior Cloning
  • [x] ACT
  • [ ] CNNMLP
  • [ ] Deffusion Policy
  • [ ] VPT ?
• [ ] RL finetune
  • [ ] 似乎只能AC类，所以需要critic网络，如何定义？
  • [ ] 基于人类反馈的强化学习！RLHF！

纯IL在真实环境并不work。

• [ ] 调研预测action chunk的RL，用于finetune
• [ ] 如何RL finetune

---

BC相关(for now is act only)：

• [x] 定义BC输入和输出，observation space and action space actually
  • [x] in: 图像+感知状态
  • [ ] out: 动作
    • [x] factored action space
    • [ ] Joint Hierarchical Action Space
• [ ] 图像
  • [ ] 主画面+alpha通道
  • [x] 主画面
• [ ] 状态。（先不做）
  • [x] 键鼠状态
  • [ ] 体力条（dl？）
  • [ ] 人物血量
• [x] 基于录制的的人类示范
  • [x] 窗口捕获
  • [x] 获取键鼠
  • [x] 重采样到20Hz，类似act的record sim episodes
  • [x] 训练数据可视化，类似act的visualize episodes
• [ ] 训练
  • [ ] all end 2 end / 拆分
    • [x] 首先尝试稻妻好感
    • [ ] 尝试固定c位+每日的e2e？
  • [ ] 任务s
    • [ ] 稻妻两个固定位置好感
    • [ ] 进行深渊的打
    • [ ] 特定配对的自动战斗 in 大世界
    • [ ] 从特定锚点出发拾取狗粮
    • [ ] 进行地脉的打
• [ ] 评估方法？
  • [x] keyboard添加激活函数，变为二分类
  • [ ] 人类反馈训练reward/critic/管它叫什么名网络
• [ ] 推理部署
  • [x] 在数据上进行推理
  • [x] 在真实环境进行推理
  • [x] env 封装
  • [x] 调试
  • [ ] onnx部署+测试推理速度，需要达到20Hz

TODOs more important now:

• [x] 重新设计action head。添加sigmoid，变为分类，更好预测键盘离散动作。
• [ ] 对于“冷门”动作添加置信度，添加计算loss的权重。
• [ ] 或者增加“冷门“动作的采样概率。
• [ ] 删除录制开始时的空操作帧。
• [ ] 真实环境中的量化+onnx部署
• [ ] 测试去掉CVAE encoder模型
• [ ] 测试CNNMLP模型
• [x] 去掉ImageNet的norm？make it to -0.5~0.5
• [x] backbone 不给梯度的选项
• [x] 键盘和鼠标动作使用不同loss，需要引入权重超参？
• [ ] click动作实际上比想象中常见，处理方法？
• [x] fix 推理的 action 处理
• [x] 单相机输入 tries（xjb弄了下，应该是norm的问题
• [ ] 鼠标变为离散动作 tries，类似VPT
  • [ ] L1 loss + BCE loss -> 负对数似然，同时也能添加loss的权重

Thank to @XizoB for the first few TODOs.

[Alex-Beng]

代码里还有3x个TODOs

[ccjjfdyqlhy]

支持！开源且基于动作训练模型，这才是可靠的辅助！

[Alex-Beng]

阿哲，实际上有B站up做了更成熟的RL。FYI：https://www.bilibili.com/video/BV1Yk4y1T7RX