多模态分割的一些问题请教

fxxJuses / MICFormer

implement of "Multimodal Information Interaction for Medical Image Segmentation."

25 stars 7 forks source link

多模态分割的一些问题请教 #5

Open ABFHJJGGGV opened 3 months ago

ABFHJJGGGV commented 3 months ago

您好，非常出色的工作。我想请问下文中使用的多模态数据集，这里的多模态是同一个病人的CT和MRI图像。那么这里金标准是基于CT还是MRI勾画的呢。假如是只有CT有金标准的，那么MRI是不是只是作为辅助模态来提供信息帮助CT分割呢。所以，这里是不是送进模型训练之前要先将MRI配准到CT上。那么这里肯定是不精确对齐吧，这个有考虑到，是怎么解决的呢？我不知道是不是我理解的这样多模态分割，就是辅助模态帮助主模态分割。感谢

fxxJuses commented 3 months ago

你理解的没有问题，我们在前期准备工作中，将CT与MR进行了配准，使用了syn配准算法。最后使用CT的金标准作为监督信息进行训练。MR信息作为辅助。准确来说，是使用了MR的信息辅助CT的分割，在我们提出的模型中，CT信息会和MR信息不断的交替查询。对于不精准的对齐，则由我们模型中所采用的可变形匹配算子来弥补。

ABFHJJGGGV commented 3 months ago

谢谢你的回答，我的数据集是CT有金标准，然后MRI没有。我看到你的数据预处理代码是CT和MRI都有金标准。我的做法是先使用刚性配准将MRI配准到CT上。然后使用你的模型跑可以吗。就是使用了MR的信息辅助CT的分割。但是我不太理解你的MRI的标签是做什么的？祝科研顺利！

fxxJuses commented 3 months ago

欢迎使用我们的模型预测你的数据。MRI的标签并没有使用到，只使用了CT的标签作为监督训练。

ABFHJJGGGV commented 3 months ago

谢谢我还有一个疑问就是MM-WHS数据集这里每个病例提供的CT和MRI是同一个病人的CT和MRI吗。

fxxJuses commented 3 months ago

是的，他是一一对应的

ABFHJJGGGV commented 3 months ago

![Uploading image.png…]()
你好我在复现流程中对你这段数据预处理中这个配准部分不是很理解，不是MRI配置到CT上吗，这段代码实现是什么意思呢？同时对于训练代码train_mmwhs_noPad.py中这个“noPad”是什么意思呢？还有测试代码为什么写成ipynb格式？非常感谢您的时间，因为刚接触这个不是很懂，祝生活愉快！

fxxJuses commented 3 months ago

noPad是指的一种没有经过空间填充的预处理方法，可以在dataset的预处理过程中找到。ipynb格式只是为了更加方便调试和可视化分析，你也可以使用py文件来做同样的工作。

ABFHJJGGGV commented 3 months ago

![Uploading 图片1.png…]() 好的谢谢！刚刚提问中图片没显示我在复现流程中对你这段数据预处理中这个配准部分不是很理解，不是MRI配置到CT上吗，请问这段代码实现是什么意思呢？

fxxJuses commented 3 months ago

可以参考一下Antspy库里面的介绍，这段代码就是采用SyN配准方法，将MRI和CT进行对齐。这里显示的代码是CT配准到MRI上。实际操作时要将辅助信息配准到主信息上，也就是MRI配准到CT。配准的顺序对实验结果的影响不大。

ABFHJJGGGV commented 3 months ago

嗯嗯谢谢因为我的CT有label，MRI没有标签，所以我将MRI配准到CT上，然后使用CT的标签监督训练。所以针对我这种情况应该不能CT配到MRI吧。虽然如您所说配准的顺序对实验结果的影响不大。

fxxJuses commented 3 months ago

将MR配准到CT上，然后忽略我所做的label的配准就可以了。

ABFHJJGGGV commented 3 months ago

您好我看您训练代码中加载数据集时使用的是get_datasets_Aug而并非get_datasets_noPad，为什么训练代码train_mmwhs_noPad.py中写的是“noPad”呢。其实整个dataset的预处理的整体逻辑我看的不是很懂，我也没看懂这个训练的流程以及数据划分是否使用验证集？可以解答一下吗感谢