训练过程中验证集的f1值一直上不去是什么情况呢？

[noobexplore]

目前训练了40epoch，验证集val_f1还停留在0.21左右，请问这种情况正常么？

[131250208]

目前训练了40epoch，验证集val_f1还停留在0.21左右，请问这种情况正常么？

在哪个数据集上

[noobexplore]

nyt_star数据集

---原始邮件--- 发件人: "Andy Wong"<notifications@github.com> 发送时间: 2021年2月26日(周五) 晚上6:40 收件人: "131250208/TPlinker-joint-extraction"<TPlinker-joint-extraction@noreply.github.com>; 抄送: "TheTAO"<449053131@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [131250208/TPlinker-joint-extraction] 训练过程中验证集的f1值一直上不去是什么情况呢？ (#17)

目前训练了40epoch，验证集val_f1还停留在0.21左右，请问这种情况正常么？

在哪个数据集上

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

[131250208]

@noobexplore 不正常，建议检查一下是不是预处理和训练的参数有问题，建议先用我提供的数据和参数跑一遍看看

[131250208]

@noobexplore 你复现出结果了吗？有什么问题可以问我，没有问题的话我就关掉这个issue了

[noobexplore]

不好意思，一直忘记回了，我现在用nyt这个数据集，然后将参数改为whole_text，结果对了，但就是不明白nyt_star数据集与nyt的区别，观察了一下nyt_star里面的实体只有一部分

---原始邮件--- 发件人: "Andy Wong"<notifications@github.com> 发送时间: 2021年3月6日(周六) 上午10:34 收件人: "131250208/TPlinker-joint-extraction"<TPlinker-joint-extraction@noreply.github.com>; 抄送: "TheTAO"<449053131@qq.com>;"Mention"<mention@noreply.github.com>; 主题: Re: [131250208/TPlinker-joint-extraction] 训练过程中验证集的f1值一直上不去是什么情况呢？ (#17)

@noobexplore 你复现出结果了吗？有什么问题可以问我，没有问题的话我就关掉这个issue了

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[131250208]

@noobexplore 是的，nyt_star和webnlg_star的实体都只有一个单词，是为了跟之前的方法公平比较一直沿用下来的。但是大家报分数基本都是用的这两个数据集，测评的时候也是只看第一个单词（匹配方式改成only_head_text）。为了展示模型在正常数据集上的能力，所以完整实体的NYT和WebNLG都做了（匹配方式whole_text）。另外这两个数据集没有标span，在标注了span的数据集上，其实用whole_span是最合理的。 另外，只标一个单词的数据集并不能说是更简单，因为有些标注不完整会让模型非常困惑的，比如Apollo 11这个实体在数据集里只标了11。所以你可以看到nyt上的效果甚至比nyt_star要好一点。webnlg比webnlg_star差的原因主要是webnlg的关系数比后者多很多，这都是前人预处理时的遗留问题。