search

voldemortX / DST-CBC

Implementation of our Pattern Recognition paper "DMT: Dynamic Mutual Training for Semi-Supervised Learning"
BSD 3-Clause "New" or "Revised" License
135 stars 17 forks source link

作者您好，这是我使用自己的数据集训练出的结果，为什么迭代过程中的miou没有初始化的miou高？ #17

Open dqq813 opened 1 year ago

dqq813 commented 1 year ago

dmt-voc-106-1lrp0--l: 80.2861213684082 dmt-voc-106-1lrp0--r: 79.29482460021973 dmt-voc-106-1lrp1--r: 78.88628840446472 dmt-voc-106-1lrp1--l: 79.12319898605347 dmt-voc-106-1lrp2--r: 78.86956334114075 dmt-voc-106-1lrp2--l: 79.26352620124817 dmt-voc-106-1lrp3--r: 78.67986559867859 dmt-voc-106-1lrp3--l: 78.97126078605652 dmt-voc-106-1lrp4--r: 78.0062735080719 dmt-voc-106-1lrp4--l: 78.25124263763428 dmt-voc-106-1lrp5--r: 78.01116108894348 dmt-voc-106-1lrp5--l: 77.23076343536377

voldemortX commented 1 year ago

@dqq813 对于自己的数据集，这是有可能的。pseudo label相关方法，尤其在有标注数据很少时，泛化性不一定好。

voldemortX commented 1 year ago

可能要调整一下超参数

dqq813 commented 1 year ago

用有标签数据初始化两个模型时，Loss在2.0左右稳定。然而在迭代过程中，loss只有0.01左右，且一直震荡。是不是说明两个模型预测伪标签的差异很小，模型之间没有分歧，所以就不能利用模型之间的分歧去纠正伪标签。

voldemortX commented 1 year ago

用有标签数据初始化两个模型时，Loss在2.0左右稳定。然而在迭代过程中，loss只有0.01左右，且一直震荡。是不是说明两个模型预测伪标签的差异很小，模型之间没有分歧，所以就不能利用模型之间的分歧去纠正伪标签。

有可能，你可以先试试普通的自训练，能不能带来提升