Yzmblog / MonoHuman

MonoHuman: Animatable Human Neural Field from Monocular Video (CVPR 2023)
133 stars 9 forks source link

关于MonoHuman训练的一些问题 #1

Closed XiaokunSun closed 1 year ago

XiaokunSun commented 1 year ago

感谢您的出色工作,有以下几个问题想请教您:

  1. 为什么我用您开源的代码训练400000个iter需要5天(我是A100的显卡),而不是论文说的3天,是开源的配置文件有误吗?因为我发现chunk貌似设置的都很小。
  2. 我自己训练的模型感觉效果一般,并不如您在论文里展示的那样好,是开源的配置文件有误吗?
  3. 为何387.yaml的iter设置为800000个,其他都是400000个。
  4. 大概什么时候公布DDP代码和premodel呢?
  5. 如何在in-the-wild video上测试,和humannerf的流程一样吗?

期待您的回复,感谢~

Yzmblog commented 1 year ago

Hi.

  1. 我们用的是v100,显存没有那么大,所以N_patches和chunk数没有设置很大。你可以调大N_patches和chunk参数,到刚好用满A100的显存。
  2. 效果一般具体是指?可以截图看一下?
  3. 训练的iter数不是固定的,训练至模型收敛即可。
  4. 因为当时使用的slurm的ddp配置不适用于大多数情况,由于我最近在忙另外的项目,这部分代码我还没整理完,整理完后会和pretrain model一起release哈。
  5. 是的,可以参考humannerf的流程。
XiaokunSun commented 1 year ago

这是zju_387, Dingtalk_20230425142914左腿有明显截断,不过或许是因为我只训练了400000个iter?我以为所有case统一都是400000个iter,另外一开始没看到您的回复又发了封邮件,您直接忽略就好,最后再确认下配置文件是否无误,如果无误我后面再自己训下试试就好了,最后感谢您的回复,有问题再联系您~

Yzmblog commented 1 year ago

这是zju_387, Dingtalk_20230425142914左腿有明显截断,不过或许是因为我只训练了400000个iter?我以为所有case统一都是400000个iter,另外一开始没看到您的回复又发了封邮件,您直接忽略就好,最后再确认下配置文件是否无误,如果无误我后面再自己训下试试就好了,最后感谢您的回复,有问题再联系您~

Hi. 由于我整理代码的时候修改过配置文件所以可能和原来不是完全一样的:) 最原始的备份丢失了,实在抱歉。不过这个缺了一块看起来是因为右腿那部分的color和density没学对,你用A100的话可以把sample的patch调大一些,让每次采样的点更多,并且更集中在人体。 配置文件我会找时间再重新对一遍的,谢谢你的提问和关注~