search

LeeSureman / Flat-Lattice-Transformer

code for ACL 2020 paper: FLAT: Chinese NER Using Flat-Lattice Transformer
1k stars 178 forks source link

report的实验结果是best result还是average？ #116

Open zaego123 opened 2 years ago

zaego123 commented 2 years ago

在关于Sota结果的实验（Flat+BERT）中，在dev集上选择最优模型并report test集的F1值时：是报告的几次实验取最优test结果，还是几次实验后的test的平均值？（可能是因为我只运行了一次，以及设备和随机性的原因，在Ontonotes 和 MSRA上的结果稍微和论文报告的差一点点）。

zaego123 commented 2 years ago

另外，还有两个问题想和作者确认一下，

  1. 第一，论文在四个数据集上进行了实验，Ontonotes 和 MSRA的超参数设定已经在论文给出（但是随机数种子好像没有给出）；能否方便提供一下resume和weibo两个数据集上的超参数设定呢？hypterparameter setting，以及随机数种子能否提供一下呢
  2. 第二，想确认一下，您的四个数据集的最大长度：MSRA是截断为200，其他是直接是原始长度吗？
Dashengren commented 1 year ago

在关于Sota结果的实验（Flat+BERT）中，在dev集上选择最优模型

您好，我在网上没有找到Ontonotes的数据集，请问可以分享一下这个数据集吗？