Open lpj0822 opened 3 years ago
1.尝试调通Demo Code for "Talking Head Anime from a Single Image",torch版本问题有个api接口变了,如图1-A所示。
图1-Atorch版本api改变 2.项目要求torch>=1.4,机器显卡比较低配,驱动最高支持cuda10.0,对应最高版本torch为1.2。所以只能尝试CPU试验一下。
cuda10.0可以安装pytorch1.5,我现在就是这样用的
可以把这个代码链接放上来
1.尝试调通Demo Code for "Talking Head Anime from a Single Image",使用cpu版torch可以调通,更改了头部姿态和左眼闭合,测试结果如图1-A所示。 图1-A cpu环境测试结果
代码链接更上去了。
1.Talking Head Anime from a Single Image输入上限制要求较高,如图1-A所示,不太容易获得,输入图拆解如图1-B所示。 图1-A输入要求 图1-B输入样图,为4通道图,前景RGB和蒙板Alpha 2.训练数据制作比较繁琐,如图2-A所示。可用的卡通3D模型,如图2-B所示,多为二次元人物,换一种漫风,数据很难获得。 图2-A数据制作 图2-B卡通3D模型
新一代GAN:S³GAN: https://zhuanlan.zhihu.com/p/58672490
1.尝试使用AnimeGanv2实现全图卡通画,也可以实现人像卡通画。AnimeGan介绍见 https://zhuanlan.zhihu.com/p/174202834 2.AnimeGan代码链接https://github.com/TachibanaYoshino/AnimeGANv2 3.AnimeGan v2代码已调通,风景和街景测试结果如图3-A所示,人物测试如图3-B所示。 a.测试原图 b.测试结果图 图3-A AnimeGan v2 场景测试结果 图3-B AnimeGan v2 人物测试结果
AnimeGanv2看看算法精度咋样,如果精度可以就以这个算法为基础去先做
好的
1.AnimeGanv2,训练数据已转换好,计算出其均值,如图1-A所示。 图1-A 2.AnimeGanv2,官方给出TensorFlow版的train代码,未给出初始化checkpoint,训练会报错,如图2-A所示。 图2-A 3.找到非官方的pytoch版的代码[https://github.com/wan-h/AnimeGANv2_pytorch](),给出的demo贴图看着还行,后续尝试调通,如图3-A所示。 图3-A
需要服务器可以尽快和我们联系。
1.非官方AnimeGanV2 pytoch版,模型已训练完成,选择迭代50个epoch的模型测试图1-A和图1-B,测试结果如图1-C和图1-D所示。 图1-A 图1-B 图1-C 图1-D
2.测试结果精细度上没有官方demo的好。
1.非官方AnimeGanV2 pytoch版,尝试使用100个epoch做微调,训练到第二个epoch的时候,模型崩了。如图1-A所示,问题还在调试中 。 图1-A模型训练崩塌。
1.英伟达最新发布DatasetGanhttps://nv-tlabs.github.io/datasetGAN/。
1..英伟达最新DatasetGan,试验人脸34类faceparsing。论文截图如图1-A所示,生成数据集如图1-B所示。 图1-A论文中样图 图1-B DatasetGan生成的人脸和对应parsing标签图(标签是可视化后的) 2.使用生成的数据,训练deeplabv3,测试结果如图2-A所示。一共生成的2000张图训练数据,全是外国人的(如图2-B),如果要是亚洲人,要微调styleGan,其中生成不好的(如图2-C所示)也没有调出来,想着先试验看看,总体训练下来,测试还行。 图2-A deeplabv3测试结果(原图(上),上色后的parsing(中),可视化到原图(下)) 图2-Bdatasetgan生成的训练数据(对应parsing真值图忘记复制出来) 图2-C生成不好的人脸,对应真值标签有的会多出一块。
进一步调研,看是否有可用demo