jiesutd / LatticeLSTM

Chinese NER using Lattice LSTM. Code for ACL 2018 paper.
1.79k stars 457 forks source link

小白问题:模型训练好之后,怎么根据模型抽取实体词?能否给个命令示例和测试文件格式?感谢感谢。。 #94

Closed talisaMing closed 4 years ago

talisaMing commented 4 years ago

rt..

mingxixixi commented 4 years ago

rt..

你好,你跑通这个模型了吗,pytorch用的是0.3.0?

jiesutd commented 4 years ago

@talisaMing 请参考run_demo.sh 中后面被注释掉的那部分, 那就是用模型decode的指令。

https://github.com/jiesutd/LatticeLSTM/blob/24d17f4270f11d2f75046789d8b67eaa2b907dce/run_demo.sh#L8

talisaMing commented 4 years ago

@jiesutd
python main.py --status decode \ --raw ../data/onto4ner.cn/demo.test.char \ --savedset ../data/onto4ner.cn/demo.dset \ --loadmodel ../data/onto4ner.cn/demo.0.model \ --output ../data/onto4ner.cn/demo.raw.out \

请问下这个里面的demo.test.char文件可以是每行一个字符么?比如: 爱 财 不 分 古 今 , 除 了 商

我用这个格式的文件跑的时候有报错,报错如下:

File "/Users/xinming/Desktop/mylearn/LatticeLSTM/utils/functions.py", line 160, in read_instance_with_gaz label_Ids.append(label_alphabet.get_index(label)) File "/Users/xinming/Desktop/mylearn/LatticeLSTM/utils/alphabet.py", line 54, in get_index return self.instance2index[self.UNKNOWN] KeyError: ''

我的执行命令是: python2.7 main.py --status decode --raw data/demo.test.char --savedset ./data/demo.dset --loadmodel data/demo.0.model --output data/demo.raw.out

而把demo.test.char文件的格式改为字符后面有label的形式,比如: 爱 O 财 O 不 O 分 O 古 O 今 O , O 除 O 了 O 商 O

就能正确执行并输出结果。

我的理解是:用模型预测的时候,每个字符后面是没有标注label的,是用模型去预测label的。 请问哪里出现了问题?

我是小白一只,感谢您的回答。。

talisaMing commented 4 years ago

rt..

你好,你跑通这个模型了吗,pytorch用的是0.3.0?

跑通了训练流程,pytorch用的是0.3.1

jiesutd commented 4 years ago

这是为了省事,你把你要预测的文本手动后面补个O就行了,虽然用不上,但是可以保持和训练预料的格式一致。

talisaMing commented 4 years ago

这是为了省事,你把你要预测的文本手动后面补个O就行了,虽然用不上,但是可以保持和训练预料的格式一致。

@jiesutd 原来是这样。 感谢大牛指点,Thanks♪(・ω・)ノ

mingxixixi commented 4 years ago

rt..

你好,你跑通这个模型了吗,pytorch用的是0.3.0?

跑通了训练流程,pytorch用的是0.3.1

代码里有哪些需要修改吗,我用的也是pytorch0.3.1会报错,RuntimeError: invalid argument 1: the number of sizes provided must be greater or equal to the number of dimensions in the tensor at /pytorch/torch/lib/THC/generic/THCTensor.c:326