Training loss do not go down

fangxiao-yu commented 2 months ago

Hello, I downloaded the source code and only modified bachsize to 16. However, during the training process, the training loss has not decreased. May I ask what caused this? train.info.log

ErinWang2023 commented 2 months ago

我也是，跟你遇到的情况一模一样，miou也很低

ErinWang2023 commented 2 months ago

谢谢你哦！！

fangxiao-yu commented 2 months ago

我也是，跟你遇到的情况一模一样，miou也很低

@ErinWang2023 你用的啥显卡啊，训练参数改了么

ErinWang2023 commented 2 months ago

我也是，跟你遇到的情况一模一样，miou也很低

@ErinWang2023 你用的啥显卡啊，训练参数改了么

bachsize改成了20，其他参数都一样，用的是P100，16G的

ErinWang2023 commented 2 months ago

我也是，跟你遇到的情况一模一样，miou也很低

@ErinWang2023 你用的啥显卡啊，训练参数改了么

bachsize改成了20，其他参数都一样，用的是P100，16G的

他提供的两个数据集我都跑了，Synapse跑完了dice只有0.0139,训练过程中loss也是在1.1上下徘徊

fangxiao-yu commented 2 months ago

如果不改bach size呢？我也改了我改成16了，因为我的显卡显存不够

---Original--- From: @.> Date: Tue, Apr 23, 2024 19:09 PM To: @.>; Cc: @.**@.>; Subject: Re: [JCruan519/VM-UNet] Training loss do not go down (Issue #44)

我也是，跟你遇到的情况一模一样，miou也很低

@ErinWang2023 你用的啥显卡啊，训练参数改了么

bachsize改成了20，其他参数都一样，用的是P100，16G的

他提供的两个数据集我都跑了，Synapse跑完了dice只有0.0139,训练过程中loss也是在1.1上下徘徊

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

ErinWang2023 commented 2 months ago

如果不改bach size呢？我也改了我改成16了，因为我的显卡显存不够 … ---Original--- From: @.> Date: Tue, Apr 23, 2024 19:09 PM To: @.>; Cc: @.**@.>; Subject: Re: [JCruan519/VM-UNet] Training loss do not go down (Issue #44) 我也是，跟你遇到的情况一模一样，miou也很低 @ErinWang2023 你用的啥显卡啊，训练参数改了么 bachsize改成了20，其他参数都一样，用的是P100，16G的他提供的两个数据集我都跑了，Synapse跑完了dice只有0.0139,训练过程中loss也是在1.1上下徘徊 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

跑这个Synapse数据集的时候，什么参数都没改

ErinWang2023 commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

fangxiao-yu commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

ErinWang2023 commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

我组的师兄说，可能是数据和标签没有对齐导致的，让我在dataset.py这里打印出来看看，你试试看给我说哈哈哈，我还在跑17.18这个数据集，想跑完看看iou会不会好一点，反正现在loss没啥变化

fangxiao-yu commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

我组的师兄说，可能是数据和标签没有对齐导致的，让我在dataset.py这里打印出来看看，你试试看给我说哈哈哈，我还在跑17.18这个数据集，想跑完看看iou会不会好一点，反正现在loss没啥变化

我看了是对应的，我师兄也是这么跟我说的

ErinWang2023 commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

我组的师兄说，可能是数据和标签没有对齐导致的，让我在dataset.py这里打印出来看看，你试试看给我说哈哈哈，我还在跑17.18这个数据集，想跑完看看iou会不会好一点，反正现在loss没啥变化

我看了是对应的，我师兄也是这么跟我说的

那就不知道哪里问题了，跑得起来，结果差距跟作者这么大，真的想不明白，我问了师兄会不会是显卡的问题，师兄说不太可能是显卡的问题。。。

fangxiao-yu commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

我组的师兄说，可能是数据和标签没有对齐导致的，让我在dataset.py这里打印出来看看，你试试看给我说哈哈哈，我还在跑17.18这个数据集，想跑完看看iou会不会好一点，反正现在loss没啥变化

我看了是对应的，我师兄也是这么跟我说的

那就不知道哪里问题了，跑得起来，结果差距跟作者这么大，真的想不明白，我问了师兄会不会是显卡的问题，师兄说不太可能是显卡的问题。。。

我导儿和师兄也是这么说的，那你还打算继续跑么，如果想继续研究的话，咱俩加个联系方式，方便交流

ErinWang2023 commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

我组的师兄说，可能是数据和标签没有对齐导致的，让我在dataset.py这里打印出来看看，你试试看给我说哈哈哈，我还在跑17.18这个数据集，想跑完看看iou会不会好一点，反正现在loss没啥变化

我看了是对应的，我师兄也是这么跟我说的

那就不知道哪里问题了，跑得起来，结果差距跟作者这么大，真的想不明白，我问了师兄会不会是显卡的问题，师兄说不太可能是显卡的问题。。。

我导儿和师兄也是这么说的，那你还打算继续跑么，如果想继续研究的话，咱俩加个联系方式，方便交流

可以呀~wx嘛？

fangxiao-yu commented 2 months ago

我也是因为显存不够才改的bachsize的，不改的话17.18这个数据集跑不起来

@ErinWang2023 太奇怪了，实在想不出来是哪里的问题

我组的师兄说，可能是数据和标签没有对齐导致的，让我在dataset.py这里打印出来看看，你试试看给我说哈哈哈，我还在跑17.18这个数据集，想跑完看看iou会不会好一点，反正现在loss没啥变化

我看了是对应的，我师兄也是这么跟我说的

那就不知道哪里问题了，跑得起来，结果差距跟作者这么大，真的想不明白，我问了师兄会不会是显卡的问题，师兄说不太可能是显卡的问题。。。

我导儿和师兄也是这么说的，那你还打算继续跑么，如果想继续研究的话，咱俩加个联系方式，方便交流

可以呀~wx嘛

直接搜13942571472

JCruan519 / VM-UNet

Training loss do not go down #44