videogan资料

[zdx3578]

• [x] 1.论文 https://arxiv.org/abs/1611.06624 代码 https://github.com/pfnet-research/tgan https://github.com/dandelin/Temporal-GAN-Pytorch

• [x] 2.论文 http://carlvondrick.com/tinyvideo/paper.pdf 网站 http://web.mit.edu/vondrick/tinyvideo/ 代码https://github.com/cvondrick/videogan

gan video 两周 第一周， 熟悉已有论文，选用一个算法复现。使用自己的数据集，调参。 第二周，分析隐变量的语义相关信息，自动驾驶的转向角度和z的关系 。

[zdx3578]

ref： VAE: Adversarial Variational Bayes: Unifying VAE and GAN beta vae

GAN:

• [ ] 3.Video Generation From Text https://arxiv.org/abs/1710.00421

• [x] 4.Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks https://arxiv.org/abs/1709.07592

• [x] 5.MoCoGAN: Decomposing Motion and Content for Video Generation https://arxiv.org/abs/1707.04993 https://github.com/sergeytulyakov/mocogan

https://scholar.google.com/scholar?um=1&ie=UTF-8&lr&cites=7977179880967579431 https://scholar.google.com/scholar?um=1&ie=UTF-8&lr&cites=12629733064507558057

[waxz]

note 1.Temporal Generative Adversarial Nets with Singular Value Clipping

• 从随机采样的z0生成整个视频序列
• conditional tgan，根据视频类别标签和z0生成成视频

2.Generating Videos with Scene Dynamics

• 从随机采样的z0生成整个视频序列
• 引入了静态的背景和动态的前景的先验知识，用于对物体动作跟踪问题的建模

3.Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks

• 给定一张静态图像，生成视频序列
• 两个Gan叠加，第一个Base Gan生成粗糙/模糊的图像，第二个REfine Gan在第一个的基础上进行精细化
• Base Gan，输入的是初始图像复制叠加形成的图像序列X，输出图像序列Y1。生成器采用Unet结构，损失函数是判别器的loss和L1 loss
• Refine net输入Base Gan输出的图像序列Y1，输出图像序列Y2。损失函数为判别器的loss和L1 loss，加上Gram matrix loss ，根据Y，Y1，Y2在判别器某一层输出计算的Gram matrix。采用Gram matrix loss的目的是避免Y2只是简单的逼近Y1，因为Y1已经足够真实。

4. MoCoGAN: Decomposing Motion and Content for Video Generation
   • 引入动作和内容先验知识，将噪声Z分为Zc内容噪声和Zm动作噪声
   • 利用RNN从动作空间获得Zm分布Rm，随机变量e --> RNN --> Zm
   • 通过锁定Zm或Zc改变动作或环境
   • 整体模型含4个网络，分别为：
   • 获取动作分布 - GRU
   • 生成器Gi 、 判别器Di - DCGAN - 控制图像生成质量
   • 判别器Dv - spatio-temporal CNN 控制视频&动作生成质
   • Conditional MoCoGAN, 将label与E一同输入RNN

[fzd9752]

各种GAN和VAE的代码：

Tensorflow https://github.com/hwalsuklee/tensorflow-generative-model-collections

PyTorch https://github.com/znxlwm/pytorch-generative-model-collections