GlassyWing / nvae

An unofficial toy implementation for NVAE 《A Deep Hierarchical Variational Autoencoder》
Apache License 2.0
108 stars 21 forks source link

Hi,i don't really understand the 'def' of ' input_mapping',the sin and cos in this function #5

Closed yiyayada closed 3 years ago

yiyayada commented 3 years ago

您好,我刚入门神经网络,我不太明白您代码中的input_mapping这一步的计算(也就是整个grid的计算方式),是对应的原论文中的哪一部分计算方式,希望您有时间的时候可以大致说明grid这一步计算的用意或者巧妙之处(尤其不理解里面的sin和cos计算)

GlassyWing commented 3 years ago

这步操作用于将2维坐标投射到高维坐标而又不失去其高频信息,出自论文傅里叶特征网络, https://arxiv.org/pdf/2006.10739.pdf,或者简单的理解,就是获得一个坐标嵌入,输入一个2维坐标获得高维嵌入

yiyayada commented 3 years ago

谢谢您回复~~~我再好好理解下

GlassyWing commented 3 years ago

这步由来只是因为在之前的实现中,z是一个向量,它需要增广到与特征图相同的大小,现在我移除了Avg Pool 层,所以z的形状已经变为了(batch_size, z_dim, map_h, map_w) ,不再需要位置嵌入了,可以拉取最新代码

yiyayada commented 3 years ago

这步由来只是因为在之前的实现中,z是一个向量,它需要增广到与特征图相同的大小,现在我移除了Avg Pool 层,所以z的形状已经变为了(batch_size, z_dim, map_h, map_w) ,不再需要位置嵌入了,可以拉取最新代码

好嘞,THANK U VERY MUCH!!