Questions about Pixel-wise/Voxel-wise view aggregation module

zcong17huang commented 3 years ago

您好，非常感谢您做出的卓越贡献。我在阅读您论文后(ECCV2020)，试着通过代码加深理解，然后发现在几个问题上有点疑惑，希望您可以帮忙解答。

1.您论文中提出了Pixel-wise以及Voxel-wise的视图选择模块，但是代码中只给出了后者，请问什么时候能将前者加入代码呢？

2.对于给出的Voxel-wise模块，对于第一个3D卷积，论文的Fig. 4中给的是3D Resblock，Table.1给出的是Conv3DGR，而在代码中，使用的是Conv3D。请问应该以哪个为准呢？

3.同样是Voxel-wise模块，论文里 Table.1给出的Conv3DGR中，使用的kernel size=3，而代码中都是使用kernel size=1，请问两者有什么区别或讲究嘛？这一块在论文中好像没有体现。或者哪个效果更好？

conv3d(in_channels, 1, kernel_size=1, stride=1, bias=bias),
conv3d(1, 1, kernel_size=1, stride=1)

4.想知道Issue3中提到的CTF是什么呢，论文里貌似没提到？

不好意思问题稍微有点多，希望您能抽出时间帮助我一下。谢谢您！

zcong17huang commented 3 years ago

不好意思，有个问题漏掉了

对于Vsource与Vreference，论文中您给出的公式是直接做差Vi;d;h;w = Vi;d;h;w - V0;d;h;w;，但是在代码上，是求平方差warped_volume = (warped_volume - ref_volume).pow_(2) 请问两者最后的效果有区别吗？

再次感谢您！

agenthong commented 3 years ago

不好意思，有个问题漏掉了

对于Vsource与Vreference，论文中您给出的公式是直接做差Vi;d;h;w = Vi;d;h;w - V0;d;h;w;，但是在代码上，是求平方差warped_volume = (warped_volume - ref_volume).pow_(2) 请问两者最后的效果有区别吗？

再次感谢您！

mvsnet 是做均方差的，可能是他论文公式给错了

agenthong commented 3 years ago

可以参考 https://github.com/yhw-yhw/PVAMVSNet/issues/3#issuecomment-596095913

yhw-yhw / PVAMVSNet

Questions about Pixel-wise/Voxel-wise view aggregation module #7