search

wdhudiekou / UMF-CMGR

[IJCAI2022 Oral] Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
MIT License
183 stars 18 forks source link

关于位移矢量场(形变场可视化问题)以及针对医学图像配准适合适用这种配准方法？ #17

Open YinZHag opened 2 years ago

YinZHag commented 2 years ago 
老师你好，我主要研究方向是医学图像融合处理的。在你这篇UMF-CMGR中，请问一下，一般我们是不可知或者根本无法完

全获得形变图像的位移矢量信息（比如，图像发生了局部形变或者全局变换的，以及对于更加复杂的形变中我们一般是无法预知

其自由度大小的），你这种方式相当于提前知道了图像的形变参数，然后在画出相应的形变网格图或者稠密光流图的。但如果不

知道形变参数，只有网络的预测形变场(2D-> (B, H, W, W), 3D-> (B, X, Y, Z, 3)),以及经过STN网络预测得到的warped img，请问加

形变网格的warped img图像该咋画？而你在本文中是对已知形变参数矩阵求逆(形变场不一定光滑可逆)得到的。

 其次，我想问下，你提出的跨模态风格迁移网络CPSTN能否用于误对齐的2D多模态医学图像融合领域，比如MRI-CT, MRI-

PET, MRI-UlTRA等图像融合，考虑到不同模态传感器成像或者断层图像的差异，这种利用GAN网络的跨模态的风格迁移方式能否

适用呢？

YinZHag commented 2 years ago

哦，这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

HilbertMaximov commented 2 years ago

哦，这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

您好，请问一下这篇文章的代码有开源吗？在github上作者是否有上传呢？

YinZHag commented 2 years ago

哦，这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

您好，请问一下这篇文章的代码有开源吗？在github上作者是否有上传呢？

好像没开源样，但基于模态转换Cycle-GAN的方法，可以参考这篇CVPR2020的文章<>, nemar。代码是公开的，作者这篇文章的CPSTN代码风格与这篇文章很类似，可以借鉴，然后自己复现下MIA的那篇文章。

YinZHag commented 2 years ago

《Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation》 nemar

HilbertMaximov commented 2 years ago

哦，这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

您好，请问一下这篇文章的代码有开源吗？在github上作者是否有上传呢？

好像没开源样，但基于模态转换Cycle-GAN的方法，可以参考这篇CVPR2020的文章<>, nemar。代码是公开的，作者这篇文章的CPSTN代码风格与这篇文章很类似，可以借鉴，然后自己复现下MIA的那篇文章。

嗯嗯好的，非常感谢！