search

shicaiwei123 / TGRS-MSHNet

Code for MSH-Net: Modality-Shared Hallucination with Joint Adaptation Distillation for Remote Sensing Image Classification Using Missing Modalities
MIT License
5 stars 0 forks source link

No module named 'lib.model_arch_utils' #1

Open aixuanjiayi opened 1 year ago

aixuanjiayi commented 1 year ago

运行显示No module named 'lib.model_arch_utils'，没有lib下model_arch_utils这个文件，请问这个是什么啊

shicaiwei123 commented 1 year ago

这个是没有用到的文件，刚刚已经更新了代码去掉了相关依赖

aixuanjiayi commented 1 year ago

请问您是把augsburg等数据集中的数据.mat文件手动分成了train.mat和test.mat了吗，因为我看您加载时数据是分train.mat和test.mat加载的，而augsburg作者的数据三种模态的数据都是一个.mat文件没有分成训练集和测试集

shicaiwei123 commented 1 year ago

是的，所有的都根据数据集提供的标签分成了train和test

电子科技大学 信息与通信工程院 School of Information and Communication Engineering University of Electronic Science and Technology of China (UESTC) +18285516726 韦仕才

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2023年08月17日 14:35 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [shicaiwei123/TGRS-MSHNet] No module named 'lib.model_arch_utils' (Issue #1) |

请问您是把augsburg等数据集中的数据.mat文件手动分成了train.mat和test.mat了吗，因为我看您加载时数据是分train.mat和test.mat加载的，而augsburg作者的数据三种模态的数据都是一个.mat文件没有分成训练集和测试集

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

aixuanjiayi commented 1 year ago

方便把分好的数据集分享一下吗，谢谢

aixuanjiayi commented 1 year ago

请问您具体是怎么划分的呢，我就是根据标签分好之后，报出错误：ValueError: cannot reshape array of size 87300 into shape (7,7,newaxis) 数据维度错误，分好之后的大小都是多少呢，谢谢！

shicaiwei123 commented 1 year ago

直接download readme里面的 Preprocessing 后的data就可以直接用

自己处理的话readme里面也附有处理代码，目前用的是7x7patch

aixuanjiayi commented 1 year ago

请问对于三个模态融合那里，也就是resnet_ensemble.py文件下HSI_Lidar_Couple_Cross_TRI这个类，hsi_block_2和lidar_block_2结构不都是一样的吗，同样的hsi输入进去返回的值不还是一样的吗，为什么还要交叉做卷积？

aixuanjiayi commented 1 year ago

还有一点就是想问，HSI数据超过2G就会被v7.3的matlab储存，在用data = scio.loadmat(mat_path)这个的时候会报错，请问作者您是怎么处理这里的，您注释掉的代码也是不能用的呀

shicaiwei123 commented 1 year ago

代码里面已经把v7.3的数据加载考虑了，data = scio.loadmat(mat_path)报错就会自动跳转到mat73.loadmat, 在 processing_utils.py的最后一个函数，如果你还有报错可以把报错贴出来我看看。

aixuanjiayi commented 1 year ago

请问对于三个模态融合那里，也就是resnet_ensemble.py文件下HSI_Lidar_Couple_Cross_TRI这个类，hsi_block_2和lidar_block_2结构不都是一样的吗，同样的hsi输入进去返回的值不还是一样的吗，为什么还要交叉做卷积？

shicaiwei123 commented 1 year ago

可以看看MDC_CNN的论文，里面有讲，整个融合的方法就是用的这个论文的方法

aixuanjiayi commented 1 year ago

请问您是用多大服务器跑的，三个模态融合的时候就显示超出显存了，有没有能减小的方法

shicaiwei123 commented 1 year ago

3090单卡，3个模态确实在1080上会溢出，这个没有办法。

或者就是降低batchsize到16，然后两个batch的梯度叠加再做一次backward

aixuanjiayi commented 1 year ago

请问这个数据训练方法是怎样的呢，首先，将数据预处理成了,mat，例如SAR的训练数据，是761（494），处理这个.mat文件的时候还是一样划成了7*7的数据训练的吗，我看数据进入模型时是[32,4,7,7]。既然这么小的数据为什么会溢出呢