search

XinyiYing / D3Dnet

Repository for "Deformable 3D Convolution for Video Super-Resolution", SPL, 2020
Apache License 2.0
305 stars 43 forks source link

您好，我想问一下关于Offset的若干问题 #29

Open BinLi-git opened 2 years ago

BinLi-git commented 2 years ago

作者您好，关于offset,我的疑问是它是通过什么来监督计算的？还是本身就是无监督的或自监督来计算？还有如何可视化这个offset来达到让人信服的对齐结果，感谢答疑

XinyiYing commented 2 years ago

offset是通过超分辨网络整体的监督loss作为监督信号的，监督D3D能够朝着“达到最佳的超分辨效果”这一目标，不断优化网络参数。 您如果需要继续研究D3D，可以使用一些toy examples做简单的特征可视化。例如，输入图像序列只有一个高亮像素点在缓慢移动，通过观察可视化的特征是否对齐和对齐后可视化特征中高亮像素点的位置，来验证“D3D是否有对齐视频临近帧的作用”这一问题。