search

xhuangcv / humannorm

CVPR 2024: The official implementation of HumanNorm
MIT License
160 stars 6 forks source link

normal map issues #9

Closed zhou431496 closed 1 month ago

zhou431496 commented 3 months ago

HumanNorm 论文里采用THUman等数据集的人体数据来获得法线图，那你是否注意‘RichDreamer’工作生成法线图的方式.如果我像RichDreamer方式从合成人体数据集中获取法线和深度，微调SD2.1是否会有效呢？而且我使用带有红色棒球帽的人作为提示，结果出现了手变成了棒球，请问这种现象是数据问题，还是框架问题 0 00

xhuangcv commented 1 month ago

你好，用RichDreamer的方式微调SD2.1是可以的，估计也能达到比较好的生成效果。手变成棒球的正常现象，我在测试的时候也可能出现这种问题，可能是在手部生成的时候，文本包含“棒球”这个词造成的，diffusion model把手部的normal认为是棒球了。

zhou431496 commented 1 month ago

你好，用RichDreamer的方式微调SD2.1是可以的，估计也能达到比较好的生成效果。手变成棒球的正常现象，我在测试的时候也可能出现这种问题，可能是在手部生成的时候，文本包含“棒球”这个词造成的，diffusion model把手部的normal认为是棒球了。

我们发现在纹理生成过程中引入基于CLIP或者DINO的感知损失，可以减缓这个问题，因为他提供了语义的约束