wdhudiekou / UMF-CMGR

[IJCAI2022 Oral] Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
MIT License
170 stars 18 forks source link

关于位移矢量场(形变场可视化问题)以及针对医学图像配准适合适用这种配准方法? #17

Open YinZHag opened 1 year ago

YinZHag commented 1 year ago
老师你好,我主要研究方向是医学图像融合处理的。在你这篇UMF-CMGR中,请问一下,一般我们是不可知或者根本无法完

全获得形变图像的位移矢量信息(比如,图像发生了局部形变或者全局变换的,以及对于更加复杂的形变中我们一般是无法预知

其自由度大小的),你这种方式相当于提前知道了图像的形变参数,然后在画出相应的形变网格图或者稠密光流图的。但如果不

知道形变参数,只有网络的预测形变场(2D-> (B, H, W, W), 3D-> (B, X, Y, Z, 3)),以及经过STN网络预测得到的warped img,请问加

形变网格的warped img图像该咋画?而你在本文中是对已知形变参数矩阵求逆(形变场不一定光滑可逆)得到的。

 其次,我想问下,你提出的跨模态风格迁移网络CPSTN能否用于误对齐的2D多模态医学图像融合领域,比如MRI-CT, MRI-

PET, MRI-UlTRA等图像融合,考虑到不同模态传感器成像或者断层图像的差异,这种利用GAN网络的跨模态的风格迁移方式能否

适用呢?

YinZHag commented 1 year ago

哦,这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

HilbertMaximov commented 1 year ago

哦,这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

您好,请问一下这篇文章的代码有开源吗?在github上作者是否有上传呢?

YinZHag commented 1 year ago

哦,这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

您好,请问一下这篇文章的代码有开源吗?在github上作者是否有上传呢?

好像没开源样,但基于模态转换Cycle-GAN的方法,可以参考这篇CVPR2020的文章<>, nemar。代码是公开的,作者这篇文章的CPSTN代码风格与这篇文章很类似,可以借鉴,然后自己复现下MIA的那篇文章。

YinZHag commented 1 year ago

《Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation》 nemar

HilbertMaximov commented 1 year ago

哦,这篇MIA的《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》也是Cycle GAN转单模态做的。

您好,请问一下这篇文章的代码有开源吗?在github上作者是否有上传呢?

好像没开源样,但基于模态转换Cycle-GAN的方法,可以参考这篇CVPR2020的文章<>, nemar。代码是公开的,作者这篇文章的CPSTN代码风格与这篇文章很类似,可以借鉴,然后自己复现下MIA的那篇文章。

嗯嗯好的,非常感谢!