Open 1535966643 opened 3 years ago
marco F1 和 micro F1会有所不同。意图识别和槽位填充我也有做,不过还没和论文对比过。
------------------ 原始邮件 ------------------ 发件人: "zhy"<notifications@github.com>; 发送时间: 2020年12月11日(星期五) 下午2:51 收件人: "AidenHuen/BERT-BiLSTM-CRF"<BERT-BiLSTM-CRF@noreply.github.com>; 抄送: "Subscribed"<subscribed@noreply.github.com>; 主题: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少? (#4)
我已经调了挺久了,我目前还是一直在复现bert+crf,使用keras,数据ATIS,基于论文Joint Intent Classification and Slot Filling BERT去实现,但是按照论文的f1和sent评估方法(论文对应的GitHub评估f1与平常不同),我目前的结果是f1=91,sent=81,与论文给出的精度还是差不少。我已经不知道如何改动了。 所以请教一下您,你的结果大概多少?还有我的可能什么原因精度低。希望我们能交流一下,qq1535966643
— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.
而且现在我这个是用BERT_serving起的,不能对BERT进行Fintune的,你可以找其他KERAS版的BERT实现(BERT4KERAS)来做。对BERT做Fintune之后,一般可以高几个百分点
------------------ 原始邮件 ------------------ 发件人: "zhy"<notifications@github.com>; 发送时间: 2020年12月11日(星期五) 下午2:51 收件人: "AidenHuen/BERT-BiLSTM-CRF"<BERT-BiLSTM-CRF@noreply.github.com>; 抄送: "Subscribed"<subscribed@noreply.github.com>; 主题: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少? (#4)
我已经调了挺久了,我目前还是一直在复现bert+crf,使用keras,数据ATIS,基于论文Joint Intent Classification and Slot Filling BERT去实现,但是按照论文的f1和sent评估方法(论文对应的GitHub评估f1与平常不同),我目前的结果是f1=91,sent=81,与论文给出的精度还是差不少。我已经不知道如何改动了。 所以请教一下您,你的结果大概多少?还有我的可能什么原因精度低。希望我们能交流一下,qq1535966643
— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.
我已经进行了finetun,但是评估的时候现在seqeval.metrics和sklearn.metrics两个库的f1值不一样,sklearn的f1值高,可以达到96多且intent达到97%,但是seqeval的f1值只有91,我认为seqeval的对的,因为还有个指标sent一直都是81,所以应该是哪里不对。但是现在我已经死调烂调都是这个。
不太清楚你说的意思,论文应该有开源代码吧,直接用他们的F1,没有的话复现一下。
------------------ 原始邮件 ------------------ 发件人: "zhy"<notifications@github.com>; 发送时间: 2020年12月11日(星期五) 下午3:22 收件人: "AidenHuen/BERT-BiLSTM-CRF"<BERT-BiLSTM-CRF@noreply.github.com>; 抄送: "771640993"<xuanzhenyu@foxmail.com>; "Comment"<comment@noreply.github.com>; 主题: Re: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少? (#4)
我已经进行了finetun,但是评估的时候现在seqeval.metrics和sklearn.metrics两个库的f1值不一样,sklearn的f1值高,可以达到96多且intent达到97%,但是seqeval的f1值只有91,我认为seqeval的对的,因为还有个指标sent一直都是81,所以应该是哪里不对。但是现在我已经死调烂调都是这个。
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
我已经调了挺久了,我目前还是一直在复现bert+crf,使用keras,数据ATIS,基于论文Joint Intent Classification and Slot Filling BERT去实现,但是按照论文的f1和sent评估方法(论文对应的GitHub评估f1与平常不同),我目前的结果是f1=91,sent=81,与论文给出的精度还是差不少。我已经不知道如何改动了。 所以请教一下您,你的结果大概多少?还有我的可能什么原因精度低。希望我们能交流一下,qq1535966643