训练集构建时，reference image 如何选择？

gobigrassland commented 2 months ago

（1）最近也在复现这篇论文的训练代码，刚开始我选择reference image是距离target/gt image 一定距离外的帧，比如5-25帧外。之所以如此，是考虑很多视频脸部在不断运动且幅度比较大，比如抖音短视频中卖货的主播等等。今天首次看到有train_codes这个分支，其中代码一直是选择超过5帧以外的任意一帧作为reference image. 为什么这样选择，难道这种视频头部运动幅度较大不会影响训练效果吗？

img_name = random.choice(video_imgs)
            img_idx = int(basename(img_name).split(".")[0])
            random_element = random.randint(0,len(video_imgs)-1)
            while abs(random_element - img_idx) <= 5:
                random_element = random.randint(0,len(video_imgs)-1)
            img_dir = os.path.dirname(img_name)
            ref_image = os.path.join(img_dir, f"{str(random_element)}.png")

（2）关于该项目，reference image的目的是什么？本来已经有masked image，期望通过音频驱动，补全与音频一致的嘴巴区域。那reference image目的是进行进一步约束得到较好重建结果，避免mask区域生成偏离太多？再回到第1个问题，如果reference image 和 target image 偏差较大了。这种reference image有多少正向作用呢？

希望作者答疑解惑一下~

gobigrassland commented 2 months ago

下面图片，左侧是reference image, 右侧是target/gt image. reference image是选择25帧之外的，原视频头部运动幅度较大，25帧外差异就很大了。随机挑选2组。 261

czk32611 commented 2 months ago

(1) reference image确实是一个研究方向，我们也正在对比实验。采用随机采样也是大部分论文所用的方法，我们的baseline方法就如此继承了。

(2) reference image的目的是给模型提供下半脸的外貌信息

TMElyralab / MuseTalk

训练集构建时，reference image 如何选择？ #65