taishan1994 / BERT-BILSTM-CRF

使用BERT-BILSTM-CRF进行中文命名实体识别。
312 stars 38 forks source link

更换数据运行出错 #18

Closed lsc11232 closed 7 months ago

lsc11232 commented 7 months ago

大佬好,我用了你的数据训练模型没有问题,但我自己标了一些数据后生成的训练集总是报错,报错信息如下: Traceback (most recent call last): File "F:\education\aaa-education\BERT-BILSTM-CRF\main.py", line 191, in main(data_name) File "F:\education\aaa-education\BERT-BILSTM-CRF\main.py", line 150, in main train_data = [json.loads(d) for d in train_data] File "F:\education\aaa-education\BERT-BILSTM-CRF\main.py", line 150, in train_data = [json.loads(d) for d in train_data] File "C:\Users\lsc11232.conda\envs\deepke\lib\json__init__.py", line 357, in loads return _default_decoder.decode(s) File "C:\Users\lsc11232.conda\envs\deepke\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "C:\Users\lsc11232.conda\envs\deepke\lib\json\decoder.py", line 353, in raw_decode obj, end = self.scan_once(s, idx) json.decoder.JSONDecodeError: Expecting ',' delimiter: line 1 column 345 (char 344)

以下是我的部分数据: {"id": "AT0001", "text": ["一", "个", "给", "定", "集", "合", "中", "的", "元", "素", "是", "互", "不", "相", "同", "的", ",", "也", "就", "是", "说", ",", "集", "合", "中", "的", "元", "素", "是", "不", "重", "复", "出", "现", "的"], "labels": ["O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O"]} {"id": "AT0002", "text": ["集", "合", "论", "的", "基", "本", "理", "论", "创", "立", "于", "1", "9", "世", "纪", ",", "关", "于", "集", "合", "的", "最", "简", "单", "的", "说", "法", "就", "是", "在", "朴", "素", "集", "合", "论", "(", "最", "原", "始", "的", "集", "合", "论", ")", "中", "的", "定", "义", ",", "即", "集", "合", "是", "“", "确", "定", "的", "一", "堆", "东", "西", "”", ",", "集", "合", "里", "的", "“", "东", "西", "”", "则", "称", "为", "元", "素"], "labels": ["B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW"]} {"id": "AT0003", "text": ["现", "代", "的", "集", "合", "一", "般", "被", "定", "义", "为", ":", "由", "一", "个", "或", "多", "个", "确", "定", "的", "元", "素", "所", "构", "成", "的", "整", "体"], "labels": ["O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O"]} {"id": "AT0004", "text": ["集", "合", "是", "指", "具", "有", "某", "种", "特", "定", "性", "质", "的", "具", "体", "的", "或", "抽", "象", "的", "对", "象", "汇", "总", "而", "成", "的", "集", "体"], "labels": ["B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O"]} {"id": "AT0005", "text": ["其", "中", ",", "构", "成", "集", "合", "的", "这", "些", "对", "象", "则", "称", "为", "该", "集", "合", "的", "元", "素"], "labels": ["O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "B-KNOW", "I-KNOW"]} {"id": "AT0006", "text": ["集", "合", "中", "元", "素", "的", "数", "目", "称", "为", "集", "合", "的", "基", "数", ",", "集", "合", "A", "的", "基", "数", "记", "作", "c", "a", "r", "d", "(", "A", ")"], "labels": ["B-KNOW", "I-KNOW", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "B-KNOW", "I-KNOW", "O", "B-KNOW", "I-KNOW", "O", "B-KNOW", "I-KNOW", "O", "O", "B-KNOW", "I-KNOW", "O", "O", "O", "O", "O", "O", "O", "O", "O"]}

lsc11232 commented 7 months ago

已经解决了

papayaa66 commented 5 months ago

如何自己训练数据,可以请教一下吗?