关于NER模型的指标

[Alex-9827]

您好，想问一下您训练NER模型指标能到多少，我这里训练出来在测试集上的指标f值只有0.22，不知道是不是哪里搞错了

[sd0809]

我的NER部分f值在0.83。在preprocess.ipynb里面生成NER训练文件模块一起test文件，下面的test生成部分有些问题。

[Alex-9827]

我是按照preprocess.ipynb里生成的valid_bert_ner_input.txt与train_bert_ner_input.txt作为验证集与训练集，但在验证集上的f值也只有0.2，是我哪里弄错了吗，您生成测试集的代码可以分享一下吗，非常感谢

[sd0809]

你就只需要在生成train和valid的那部分加上生成test就好，[''train','valid','test']

[Alex-9827]

我是这么生成的，但NER训练的时候在测试集上的f值就很低，只有0.2左右，是训练数据太少了，还是NER训练的代码有问题呢。您有修改NER训练部分的代码吗

[sd0809]

我没有修改训练部分的代码，代码本省生成的test是有问题的，我当时跑完在测试集上正确样例为0，所以我就修改了一下就好了，如果这样还不行的话，我也帮不到你了...

[Alex-9827]

您好，抱歉打扰您了，还想请教一个问题。 我继续按流程跑后面的代码，到”搜索两跳路径“这里，一直找不到multi_paths.json这个文件在哪里，怎么生成的，您可以说一下吗 非常感谢！

[sd0809]

搜索两跳路径生成的是mix_paths.json和mix_paths_all.json，并没有生成multi_paths.json

[Alex-9827]

搜索两条路径那里，在search_path_stage2.sh文件里，执行merge_path.py的时候，一个参数是--fn_multi "multi_paths.json"，在执行mix_paths.py时，代码里有打开multi_paths.json的操作，这个multi_paths.json一直没找到在哪里，也没看到在哪里生成的。 您当时怎么操作的？

[sd0809]

请把--fn_multi "multi_paths.json"和mix_paths.py里的涉及到multi_paths.json的部分都删除，不影响后续

[sd0809]

其中search_path_stage2.sh的内容更新为 nohup python -u ../../PreScreen/data/mix_paths.py --fn_in $DATADIR$DATADIR2"one_hop_predict_path.json" --fn_out $DATADIR$DATADIR2"mix_paths.json" >'log'$TOPK'.txt' & nohup python -u ../../PreScreen/data/merge_path.py --fn_in $DATADIR$DATADIR2"mix_paths.json" --fn_out $DATADIR$DATADIR2"mix_paths_all.json" >'log'$TOPK'.txt' & echo 'Finish search path'

[ThisIsSoMe]

您好，想问一下您训练NER模型指标能到多少，我这里训练出来在测试集上的指标f值只有0.22，不知道是不是哪里搞错了

我觉得最大可能是数据预处理结果出错了