search

AidenHuen / BERT-BiLSTM-CRF

BERT-BiLSTM-CRF的Keras版实现
41 stars 15 forks source link

请问您的f1值和sent值最后是多少？ #4

Open 1535966643 opened 3 years ago

1535966643 commented 3 years ago

我已经调了挺久了，我目前还是一直在复现bert+crf，使用keras，数据ATIS，基于论文Joint Intent Classification and Slot Filling BERT去实现，但是按照论文的f1和sent评估方法（论文对应的GitHub评估f1与平常不同），我目前的结果是f1=91,sent=81，与论文给出的精度还是差不少。我已经不知道如何改动了。 所以请教一下您，你的结果大概多少？还有我的可能什么原因精度低。希望我们能交流一下，qq1535966643

AidenHuen commented 3 years ago

marco F1 和 micro F1会有所不同。意图识别和槽位填充我也有做，不过还没和论文对比过。

------------------ 原始邮件 ------------------ 发件人: "zhy"<notifications@github.com>; 发送时间: 2020年12月11日(星期五) 下午2:51 收件人: "AidenHuen/BERT-BiLSTM-CRF"<BERT-BiLSTM-CRF@noreply.github.com>; 抄送: "Subscribed"<subscribed@noreply.github.com>; 主题: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少？ (#4)

我已经调了挺久了，我目前还是一直在复现bert+crf，使用keras，数据ATIS，基于论文Joint Intent Classification and Slot Filling BERT去实现，但是按照论文的f1和sent评估方法（论文对应的GitHub评估f1与平常不同），我目前的结果是f1=91,sent=81，与论文给出的精度还是差不少。我已经不知道如何改动了。 所以请教一下您，你的结果大概多少？还有我的可能什么原因精度低。希望我们能交流一下，qq1535966643

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

AidenHuen commented 3 years ago

而且现在我这个是用BERT_serving起的，不能对BERT进行Fintune的，你可以找其他KERAS版的BERT实现（BERT4KERAS）来做。对BERT做Fintune之后，一般可以高几个百分点

------------------ 原始邮件 ------------------ 发件人: "zhy"<notifications@github.com>; 发送时间: 2020年12月11日(星期五) 下午2:51 收件人: "AidenHuen/BERT-BiLSTM-CRF"<BERT-BiLSTM-CRF@noreply.github.com>; 抄送: "Subscribed"<subscribed@noreply.github.com>; 主题: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少？ (#4)

我已经调了挺久了，我目前还是一直在复现bert+crf，使用keras，数据ATIS，基于论文Joint Intent Classification and Slot Filling BERT去实现，但是按照论文的f1和sent评估方法（论文对应的GitHub评估f1与平常不同），我目前的结果是f1=91,sent=81，与论文给出的精度还是差不少。我已经不知道如何改动了。 所以请教一下您，你的结果大概多少？还有我的可能什么原因精度低。希望我们能交流一下，qq1535966643

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

1535966643 commented 3 years ago

我已经进行了finetun，但是评估的时候现在seqeval.metrics和sklearn.metrics两个库的f1值不一样，sklearn的f1值高，可以达到96多且intent达到97%，但是seqeval的f1值只有91，我认为seqeval的对的，因为还有个指标sent一直都是81，所以应该是哪里不对。但是现在我已经死调烂调都是这个。

AidenHuen commented 3 years ago

不太清楚你说的意思，论文应该有开源代码吧，直接用他们的F1，没有的话复现一下。

------------------ 原始邮件 ------------------ 发件人: "zhy"<notifications@github.com>; 发送时间: 2020年12月11日(星期五) 下午3:22 收件人: "AidenHuen/BERT-BiLSTM-CRF"<BERT-BiLSTM-CRF@noreply.github.com>; 抄送: "771640993"<xuanzhenyu@foxmail.com>; "Comment"<comment@noreply.github.com>; 主题: Re: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少？ (#4)

我已经进行了finetun，但是评估的时候现在seqeval.metrics和sklearn.metrics两个库的f1值不一样，sklearn的f1值高，可以达到96多且intent达到97%，但是seqeval的f1值只有91，我认为seqeval的对的，因为还有个指标sent一直都是81，所以应该是哪里不对。但是现在我已经死调烂调都是这个。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

1535966643 commented 3 years ago

https://github.com/monologg/JointBERT/blob/7497631c20/data/vocab_process.py，这是论文对应代码，就是已经微调，结构bert+crf，但是怎么调都不能到达人家的精度