ilydouble
commented
6 years ago 严重受遗传算法的洗脑，最近，我觉得self-attention可以理解成对于自身基因的复制，单纯有判别器去决策进化还是不够的，进化的时候还要考虑自身的复制，杂交和编译。我最近睡眠不够因此极有可能想错。
Open DIYer22 opened 6 years ago
ilydouble
commented
6 years ago 严重受遗传算法的洗脑，最近，我觉得self-attention可以理解成对于自身基因的复制，单纯有判别器去决策进化还是不够的，进化的时候还要考虑自身的复制，杂交和编译。我最近睡眠不够因此极有可能想错。
DIYer22
commented
6 years ago @ilydouble 我觉得遗传算法的确厉害。 但我觉得应用在大规模数据上，遗传算法还没有做好准备。 主要是神经网络的搜索空间太大了， SGD 是直接奔着目标去，即使这样， train 一发 ImageNet 也要好几天。同等算力下，用遗传算法感觉要迭代好几年的样子。而且 Reinforce Learning 和遗传算法有点相似（好的性壮留下，不好的淘汰），效率也比遗传算法高
Review
一. 修改毕业论文，准备毕设答辩PPT
二. 读论文 Self-Attention Generative Adversarial Networks (SA-GAN)
由于卷积神经网络对全局信息不敏感，过去的 GAN 在图像生成任务上，往往只能生成较为逼真的纹理，而生成物体的结构较差（比如动物的腿畸形）。
SA-GAN 主要贡献是在 Generator 和 Discriminator 的最后两层使用全局的 Self-Attention， 使得生成的图片结构更为一致。
Self-Attention 机制主要出自 attention is all you need 和 Non-local 比较相似，网上好的资料很多，我主要说一下 SA-GAN 用到的两个 trick
1. Projection Discriminator
SA-GAN 用了 cGANs with Projection Discriminator 中的 Projection Discriminator。(ICLR 2018)
Projection Discriminator提出了一种新的将 condition 信息融入 conditional GANs 的方法。
如最右图所示。 Discriminator 的 feature 与 condition 信息进行内积，使 Discriminator 能更好得融合 conditional 影响，进而而取得更好，更稳定的结果。并且 Projection Discriminator 使生成图像更加连贯 达到类别间平滑过度效果（如下图）。
上图为 fix 住 z，condition 变换路径为
geyser(喷泉)->Tibetan terrier(狗)->mushroom(蘑菇)->robin(知更鸟)（每排一个变换）2. Spectral Normalization
此外 SA-GAN 还用到了 Spectral Normalization for Generative Adversarial Networks 中的 spectral normalization。(ICLR 2018 Oral)
spectral normalization 作用于 Generator 和 Discriminator 的权重中，达到 W-GAN 中的 Lipschitz constraint 的效果。由于避免了 W-GAN(gradient penalty) 需要 sample 数据来做正则， spectral normalization 效率更高。 spectral normalization 对 GAN 的训练也有较大的提升，在
值得一提的是 spectral normalization 和 Projection Discriminator 都是日本人工智能公司 Preferred Networks 出品的，开源了 chainer的代码。