知识蒸馏

[cxq1]

你好，我想问一下，能否用全监督的模型比如（Faster RCNN)作为Teacher模型给弱监督的模型做 蒸馏 比如用Feature Imitaion的方法 这么做是否有意义，我没怎么看到这么做的论文，

[HikariTJU]

数据集不一样，做蒸馏有没有意义还真不好说，我倾向于没有什么意义

[cxq1]

数据集不一样，做蒸馏有没有意义还真不好说，我倾向于没有什么意义

都是在coco或者voc数据集呢

[HikariTJU]

你是说在coco上做弱监督的模型吗，能否给几篇论文参考下？

[cxq1]

你是说在coco上做弱监督的模型吗，能否给几篇论文参考下？

Point-to-Box Network for Accurate Object Detection via Single Point Supervision

Spatial Self-Distillation for Object Detection with Inaccurate Bounding Boxes

[HikariTJU]

不是很懂这一块，但是有几个疑问：

1. 弱监督学习的意义是否在于日常很难获取到干净的数据集?
2. 如果是的话，那用一个在干净数据集上训练的模型去监督弱监督的模型是否让“弱监督”失去了意义？

[cxq1]

不是很懂这一块，但是有几个疑问：

1. 弱监督学习的意义是否在于日常很难获取到干净的数据集?

2. 如果是的话，那用一个在干净数据集上训练的模型去监督弱监督的模型是否让“弱监督”失去了意义？

弱监督的难点是在 并没有提供边界框就是没有gt,在训练的时候用的是伪框，这个伪框可以是由点生成的

[cxq1]

不是很懂这一块，但是有几个疑问：

1. 弱监督学习的意义是否在于日常很难获取到干净的数据集?

2. 如果是的话，那用一个在干净数据集上训练的模型去监督弱监督的模型是否让“弱监督”失去了意义？

弱监督的难点是在 并没有提供边界框就是没有gt,在训练的时候用的是伪框，这个伪框可以是由点生成的

就是想让弱监督模型 伪框的定位比较差，想让他从全监督的模型中学到好的定位能力

[HikariTJU]

我的意思是： 用⌈全监督模型⌋去监督⌈弱监督模型⌋， 还叫弱监督学习吗？

[cxq1]

我的意思是： 用⌈全监督模型⌋去监督⌈弱监督模型⌋， 还叫弱监督学习吗？

只是特征上的蒸馏 也没用到gt 应该还能叫弱监督吧 这个问题我不是很确定

[HikariTJU]

你在训练teacher的时候用到了GT