search

BradyFU / DVG

[NeurIPS 2019] Dual Variational Generation for Low Shot Heterogeneous Face Recognition
MIT License
118 stars 20 forks source link

生成图片质量不好，尤其是红外图片 #4

Closed stormyoung closed 4 years ago

stormyoung commented 4 years ago

你好，我按照你们的代码，使用CASIA NIR-VIS 2.0数据集的，使用训练集划分nir_train_1.txt和vis_train_1.txt，生成的图片效果并没有论文里那么好，尤其是红外图片，不知道为什么，希望得到您的指导和解答。

另外，对代码训练集读取图片按照论文增加了transforms.Resize((144,144)), 读取红外图片变为了img_domain0 = Image.open(os.path.join(self.img_root, img_name_domain0)).convert('RGB')，加了convert('RGB')，不然我下载的这个数据集读取红外图片是一个通道的，代码会报错。 以下是生成的一些图片样例 1 1

BradyFU commented 4 years ago

您好，考虑到对抗损失对识别的帮助并不是很大，我们在公布的代码中去除了对抗损失，所以和论文中的生成质量会有一定差异。开源代码生成的样例如下。改善您生成质量的建议：1）更改对齐方式，提高人脸区域在图片中的占比；2）考虑适当增加迭代次数；3）检查一下您的原始数据是否存在问题，正如您提到的第二个问题。 nir

stormyoung commented 4 years ago

谢谢您的回答，我会根据您的建议修改一下。 请问论文中提到训练时"aligned to 144x144", 是怎么做的呢？使用了人脸的5点对齐方式么？不是简单地Resize？ 希望得到您的指导~ 谢谢~~

BradyFU commented 4 years ago

不用谢。对的，是使用人脸的5个关键点对齐而不是Resize。

stormyoung commented 4 years ago

谢谢你的解答~