search

danfenghong / IEEE_TGRS_SpectralFormer

Danfeng Hong, Zhu Han, Jing Yao, Lianru Gao, Bing Zhang, Antonio Plaza, Jocelyn Chanussot. Spectralformer: Rethinking hyperspectral image classification with transformers, IEEE Transactions on Geoscience and Remote Sensing (TGRS), 2021
219 stars 39 forks source link

关于输入图片预处理的问题 #19

Open mx5518 opened 1 year ago

mx5518 commented 1 year ago

老师您好，我在读到GSE部分的时候，有一个困惑的地方，就是在SpectralFormer模型图中，每一个小正方形块代表高光谱图像中的一个像素点吗？那GSE相当于是将n个像素点合为一组来进行embedding操作，不知道这样理解对不对？ 068998b2f8d26244eb9babbcd27e6df 因为我刚接触高光谱图像领域不久，不是很明白，望老师多多包涵！ 期待老师您的回复，不胜感激！ 祝老师您身体健康，科研顺利！

danfenghong commented 1 year ago

你好，同学。 是的，每个小方格代表一个像素点。。GSE相当于有重叠的采样成不同的组，然后作为transformer的token。 祝好！

mx5518 @.***> 于2023年3月15日周三 17:07写道：

老师您好，我在读到GSE部分的时候，有一个困惑的地方，就是在SpectralFormer模型图中，每一个小正方形块代表高光谱图像中的一个像素点吗？那GSE相当于是将n个像素点合为一组来进行embedding操作，不知道这样理解对不对？ [image: 068998b2f8d26244eb9babbcd27e6df] https://user-images.githubusercontent.com/95353870/225260025-ac2f6d6f-2e7a-4432-af56-19551d4dbbaf.png 因为我刚接触高光谱图像领域不久，不是很明白，望老师多多包涵！ 期待老师您的回复，不胜感激！ 祝老师您身体健康，科研顺利！

— Reply to this email directly, view it on GitHub https://github.com/danfenghong/IEEE_TGRS_SpectralFormer/issues/19, or unsubscribe https://github.com/notifications/unsubscribe-auth/AFL2GZQGMQYEFRWVTIFJJ2TW4GBEFANCNFSM6AAAAAAV3QIHM4 . You are receiving this because you are subscribed to this thread.Message ID: @.***>

mx5518 commented 1 year ago

感谢老师的回复！

mx5518 commented 1 year ago

你好，同学。 是的，每个小方格代表一个像素点。。GSE相当于有重叠的采样成不同的组，然后作为transformer的token。 祝好！ mx5518 @.> 于2023年3月15日周三 17:07写道： … 老师您好，我在读到GSE部分的时候，有一个困惑的地方，就是在SpectralFormer模型图中，每一个小正方形块代表高光谱图像中的一个像素点吗？那GSE相当于是将n个像素点合为一组来进行embedding操作，不知道这样理解对不对？ [image: 068998b2f8d26244eb9babbcd27e6df] https://user-images.githubusercontent.com/95353870/225260025-ac2f6d6f-2e7a-4432-af56-19551d4dbbaf.png 因为我刚接触高光谱图像领域不久，不是很明白，望老师多多包涵！ 期待老师您的回复，不胜感激！ 祝老师您身体健康，科研顺利！ — Reply to this email directly, view it on GitHub <#19>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AFL2GZQGMQYEFRWVTIFJJ2TW4GBEFANCNFSM6AAAAAAV3QIHM4 . You are receiving this because you are subscribed to this thread.Message ID: @.>

老师您好，我在Pavia和Houston数据集上运行Patch-wise SpectralFormer时确实遇到了memory error的问题，但我使用的服务器显存是16G，比论文中您使用的2080ti的显存要大，之后我在readme里看到您提到了这个问题，请问老师所说的注释掉不必要的代码具体指的是哪个部分，以及将整个图片分成几个子图是指将patch_size调小一点吗？

期待老师您的回复，不胜感激！

danfenghong commented 1 year ago

不要整个图所有的像素都输入进去，只是用训练数据训练模型，整张图测试的时候可以分批次进行。

mx5518 @.***> 于2023年3月23日周四 10:43写道：

你好，同学。 是的，每个小方格代表一个像素点。。GSE相当于有重叠的采样成不同的组，然后作为transformer的token。 祝好！ mx5518 @.

> 于2023年3月15日周三 17:07写道： … <#m-7267012859277442654> 老师您好，我在读到GSE部分的时候，有一个困惑的地方，就是在SpectralFormer模型图中，每一个小正方形块代表高光谱图像中的一个像素点吗？那GSE相当于是将n个像素点合为一组来进行embedding操作，不知道这样理解对不对？ [image: 068998b2f8d26244eb9babbcd27e6df] https://user-images.githubusercontent.com/95353870/225260025-ac2f6d6f-2e7a-4432-af56-19551d4dbbaf.png https://user-images.githubusercontent.com/95353870/225260025-ac2f6d6f-2e7a-4432-af56-19551d4dbbaf.png 因为我刚接触高光谱图像领域不久，不是很明白，望老师多多包涵！ 期待老师您的回复，不胜感激！ 祝老师您身体健康，科研顺利！ — Reply to this email directly, view it on GitHub <#19 https://github.com/danfenghong/IEEE_TGRS_SpectralFormer/issues/19>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AFL2GZQGMQYEFRWVTIFJJ2TW4GBEFANCNFSM6AAAAAAV3QIHM4 https://github.com/notifications/unsubscribe-auth/AFL2GZQGMQYEFRWVTIFJJ2TW4GBEFANCNFSM6AAAAAAV3QIHM4 . You are receiving this because you are subscribed to this thread.Message ID: @.>

老师您好，我在Pavia和Houston数据集上运行Patch-wise SpectralFormer时确实遇到了memory error的问题，但我使用的服务器显存是16G，比论文中您使用的2080ti的显存要大，之后我在readme里看到您提到了这个问题，请问老师所说的注释掉不必要的代码具体指的是哪个部分，以及将整个图片分成几个子图是指将patch_size调小一点吗？

期待老师您的回复，不胜感激！

— Reply to this email directly, view it on GitHub https://github.com/danfenghong/IEEE_TGRS_SpectralFormer/issues/19#issuecomment-1480518034, or unsubscribe https://github.com/notifications/unsubscribe-auth/AFL2GZRT64PBSFK56L7DJQ3W5O2GHANCNFSM6AAAAAAV3QIHM4 . You are receiving this because you commented.Message ID: @.***>