search

DearCaat / MHIM-MIL

[ICCV 2023 Oral] Multiple Instance Learning Framework with Masked Hard Instance Mining for Whole Slide Image Classification
63 stars 3 forks source link

loss值 #18

Closed 1293667250 closed 4 months ago

1293667250 commented 4 months ago

1、python3 main.py --project=$PROJECT_NAME --dataset_root=$DATASET_PATH --model_path=$OUTPUT_PATH --cv_fold=3 --title=transmil --model=pure --baseline=selfattn --seed=2021 2、# C16 python3 main.py --project=$PROJECT_NAME --dataset_root=$DATASET_PATH --model_path=$OUTPUT_PATH --cv_fold=3 \ --teacher_init=./modules/init_ckp/c16_3fold_init_transmil_seed2021 --mask_ratio_h=0.03 --mask_ratio_hr=0.5 \ --mrh_sche --title=transmil_101_sml80h3-0r50_mmcos_is --mask_ratio=0. --mask_ratio_l=0.8 --cl_alpha=0.1 --mm_sche --init_stu_type=fc --attn_layer=0 --seed=2021 你好，我是按照以上的步骤进行复现的，请问这个loss值为什么下降，而acc，auc也是下降的呢？ 1719494144364

DearCaat commented 4 months ago

你好，感谢你对我们工作的关注。我认为这是个比较有趣的问题，我也按照你的方式可视化了两个曲线 image

比较有趣的是，其中有一种颜色曲线和你这里一样，Loss和AUC呈正比关系，而另一条却呈现反比关系。实际上这两个曲线并没有本质区别，仅仅是两个参数讨论的实验。因此我认为，在该实验中，测试集最后报告的Loss值和最后评估出来的AUC并没有严格的线性关系。实际上，从计算公式来看，报告的Loss值是一个交叉熵均值，AUC则是ROC曲线下的面积，计算较为复杂。我认为也不能简单将这两者视为简单的线性关系。

当然，欢迎你再次检查这个仓库代码中关于AUC和Loss计算的代码段，如果你发现了任何问题，欢迎留言，我会进行订正

1293667250 commented 4 months ago

你好，感谢你的回答。对此我有几个问题： 1、这些图的横坐标表示什么，是否可以通过多打几个点来看出具体的loss与acc等指标的变化。 2、这两条曲线是同样的步骤跑出的不同结果吗？ 3、就是c16这个测试集官网是没有打标签的，然后您提供的这个测试集文件是打过标签再提取的吗？

DearCaat commented 4 months ago
  1. 横坐标是step，就是log的次数，基本每次iteration都会迭代1-2次。按道理这个代码是有你说的loss曲线变换的，应该在不同fold里面，train_loss之类的？
  2. 其它都一致，只有个别超参数不同，方法没有本质区别
  3. 官网没有打标签应该是指没有分割标签，官方是提供了分类标签的。分割和分块的细节建议查看CLAM的仓库
1293667250 commented 4 months ago

你好作者！我想问问这个粉红色曲线是用的什么参数跑出来的，谢谢

Supreme @.***

 

------------------ 原始邮件 ------------------ 发件人: "DearCaat/MHIM-MIL" @.>; 发送时间: 2024年7月1日(星期一) 中午11:02 @.>; @.**@.>; 主题: Re: [DearCaat/MHIM-MIL] loss值 (Issue #18)

横坐标是step，就是log的次数，基本每次iteration都会迭代1-2次。按道理这个代码是有你说的loss曲线变换的，应该在不同fold里面，train_loss之类的？

其它都一致，只有个别超参数不同，方法没有本质区别

官网没有打标签应该是指没有分割标签，官方是提供了分类标签的。分割和分块的细节建议查看CLAM的仓库

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

DearCaat commented 4 months ago

这是两个关于mask ratio超参数讨论的实验，具体我也不是很清楚了，这里举例子只是想证明这个现象是一个比较随机普遍的事情，你如果跑了较多的实验，应该是可以找到许多例子