Snowfallingplum / SSAT

[AAAI 2022] This is the official pytorch code for SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal
84 stars 20 forks source link

关于模型架构的一些想法,想探讨请教一下 #6

Open hl123-123 opened 2 years ago

hl123-123 commented 2 years ago

就是对于模型设计,我很喜欢就是输入人脸解析这个语义分割结果这个idea,,但是感觉这边处理人脸解析信息这里有点粗暴,就是只是parse 经过 semantic_encoder 然后直接和content_encoder的人脸内容信息进行torch.cat会不会有点粗暴呢?如果是我的想法会至少进行人脸解析和人脸内容进行一个逐元素相乘的操作,我想通过类似这种逐元素相乘更好的避免一些背景的干扰会不会好一点呢?我之所以想到这个原因是因为我把pytorch你们团队给出的代码用paddle写了一份,并且参数迁移过去我实验了多次,发现就是人脸需要占据整张图片的很大一部分效果才好,就是生成出来的妆容迁移往往人物背景会进行改变和变色,其中输入图片的背景也会对于模型妆容迁移进行错误干扰。

不知道你们团队对于我说的这个人脸解析语义分割信息与人脸图片融合的想法是否有过类似的idea和实验呢?就是我不是故意找茬的,就是你们的这篇论文让我受益匪浅,想更加深入的探讨一下,不知道可不可以。

如果是需要光照信息的话,人脸应该也可以获得光照信息,并不依赖背景,我这边测试了证件照还有一个其他的照片,这里给出证件照片的不太好的效果。

cb5f7f2e6bf04d1aaf9aca9ee76c791b19ae1f64c2d74e8e9131b87498e2938a

hl123-123 commented 2 years ago

您这边其实,可以用中文回复的,谢谢哥。我怕我这边因为我不太好的英文水平理解错了