AlexYangLi / ccks2019_el

CCKS 2019 中文短文本实体链指比赛技术创新奖解决方案
https://biendata.com/competition/ccks_2019_el/
409 stars 80 forks source link

模型文件运行问题 #2

Closed webYFDT closed 4 years ago

webYFDT commented 5 years ago

您好,感谢您回答我上次提出的问题,我还两个关于程序的模型的问题想请问您。 1、我的显示是Tesla M40 24GB,使用您的程序preprocess.py文件时总被Killed,是内存溢出还是程序的问题? 2、我想直接运行你训练好的模型。即下载好“data”和"ckpt"文件夹,然后运行python3 ensemble.py,发现cpkt中缺 失“./ckpt/2step_er_c2v_fix_32_adam_0.001_BIOES_encoder_type_bilstm_cnn_use_crf_True_swa_ernie_layer_1_fix_word_w2v_fix_softword_dictfeat_maxmatch.hdf5”文件。我查看cpkt文件夹里的文件夹时发现里面只有以“_swa.hdf5”结尾的文件,该如何解决?(如果方便的话能否简单说一下这些模型文件的区别用途) 感谢 error

AlexYangLi commented 5 years ago

你好。

  1. 关于第一个问题,我不是很清楚你的错误所在。因为我在我这边的服务器上跑确实是没有问题的...
  2. 关于第二个问题,我在训练单模型的时候会使用一个“权重平均”的集成策略,这样我每次训练完毕之后都会得到两个模型,一个是正常训练下得到的模型,另一个是集成后的模型,集成的模型都会以"_swa"结尾。在实验中集成的模型都会比正常训练的模型得要好,所以ckpt全都是“_swa.hdf5”结尾的集成模型文件。在代码里因为把模型的文件名写错了,就出现error了。已经把代码改过来了,抱歉。如果你运行ensemble.py还有问题的话,麻烦告知我一下,谢谢~
  3. 关于模型命名,我在READEME.md的FAQ简单介绍了一下,模型命名比较随意,请见谅。
webYFDT commented 5 years ago

谢谢版主详细解答!