search

DengPingFan / FSGAN

48 stars 10 forks source link

请问数据预处理部分是无法打开了嘛 #5

Closed NENUQianWeijie closed 5 months ago

ZhengPeng7 commented 6 months ago

Sorry, 貌似确实是没有那个文件. 之前的预处理是根据APDrawingGAN来的, 但是使用了自己写的更方便的代码脚本 (更新的开源repo, 更新的torch版本, ...) README里已经更新啦, 链接导向APDrawingGAN的preproc说明以及我们google-drive上的预处理代码 (MTCNN for key points + U-2-Net for human segmentation).

NENUQianWeijie commented 6 months ago

非常感谢您的回复，我先尝试一下制作自己的数据集

ZhengPeng7 commented 6 months ago

好的, mtcnn是有notebook, u-2-net是用的官方的 只有.py. 有问题欢迎继续留言.

NENUQianWeijie commented 6 months ago

非常感谢您的回复，请问论文中的损失函数都对应的是代码的哪里呢，运行日志也有很多损失值，这些损失值和论文中的损失是怎么对应的呢，期待收到您的回复

NENUQianWeijie commented 6 months ago

b027d51e472d6b353a202108ae6b94f

ZhengPeng7 commented 6 months ago

我刚刚去搜了下代码, 你可以看看这里将每个放入log的代码, 应该能明白一些. 大致来讲, G/D就是generator/discriminator, 而模型从global face和local patch两个level去生成, 因而又相对应的[G/D]-loss, 所以基本就是[G/D] X [Global/Local] 两两组和, 以及[real/fake], G_VGG应该是直接从APDrawingGAN里延用的perceptual loss. 说实话, 有点太久远了, 而且很多基础工作是Zilin Huang博士完成的, 你也可以发邮件问问她.

NENUQianWeijie commented 6 months ago

感谢您的回复，可以再问您一下global face和local patch分别对应模型的哪个部分嘛，感谢感谢

ZhengPeng7 commented 6 months ago

就是针对整张face图和不同RoI的patch, MTCNN就是用来提取key point从而切出这些patch的.

NENUQianWeijie commented 6 months ago

感谢您的回复，请问制作数据集时，json文件要怎么得到呢

ZhengPeng7 commented 6 months ago

请问是指类似FS2K/anno_test.json吗? 这个是手动标注的, 但当时我记得我是写了个小程序, 来进行list类型的数据: skin_color, lip_color等的搜集 -- 比如matplotlib弄个鼠标点击交互程序, 点一下就采样这个区域周围NxN个像素的均值. bool类型的数据的话 (stle, simle, ...), 就是手动在json文件里标的, 当时没有用什么更方便的方法.

NENUQianWeijie commented 6 months ago

感谢您的回复，我正在制作CUFSF数据集的标签，请问是否可以不使用这个json文件训练模型呢

ZhengPeng7 commented 6 months ago

都对应上应该是可以的. 但如果有的值没有对应存在, 比如style之类的, 你要小心处理.

ZhengPeng7 commented 5 months ago

如果有新问题, 欢迎reopen.