taishan1994 / pytorch_bert_multi_classification

基于pytorch_bert的中文多标签分类
82 stars 14 forks source link

本实验实现bert多标签分类的方式? #7

Open 943433536 opened 1 year ago

943433536 commented 1 year ago

本实验是不是通过使用sigmoid函数实现的多标签文本分类? 如果是的话,是不是在dev和test中使用的阈值是0.6,而在predict中阈值是0.5?这是为什么呢 是不是与bert文本分类的区别就是使用Sigmoid函数而不是softmax?

taishan1994 commented 1 year ago

本实验是不是通过使用sigmoid函数实现的多标签文本分类? 如果是的话,是不是在dev和test中使用的阈值是0.6,而在predict中阈值是0.5?这是为什么呢 是不是与bert文本分类的区别就是使用Sigmoid函数而不是softmax?

1、是的,使用sigmoid实现多标签分类。 2、阈值可以自己随意定义,上面可能是自己随便设置的。 3、是的,使用sigmoid对每一类分别进行分类。softmax用于在多类中只区分出一类。

943433536 commented 1 year ago

嗯嗯,谢谢您

yang1111-gif commented 10 months ago

嗯嗯,谢谢您

首先你的开源精神值得肯定;其次,不知道经过了两年时间你对你自己这个项目的多标签是否有新的理解,你这是单标签多分类,不是多标签分类任务,请修改下。而且sigmoid一般用于二分类任务,你代码里面用的损失函数也是二值化损失。二分类模型也可以做多标签分类,但是需要每个样本进行一次二分类,这是不太合理。你代码中采用的二分类阈值其实就是多标签的方法,但是你这个项目是单标签分类。