Open SStarLib opened 3 years ago
你好 就我的了解, train.json即是包含了訓練資料 以及標記的data. 具體格式: {"text": "浙商银行企业信贷部叶老桂博士则从另一个角度对五道门槛进行了解读。叶老桂认为,对目前国内商业银行而言,", "label": {"name": {"叶老桂": [[9, 11]]}, "company": {"浙商银行": [[0, 3]]}}} text為訓練例句(instance), label中的name和company是訓練項目中的entity, 你可以選擇自己需要的去留存就好。 另外label中entity的[n,m] 表示該entity在text中的位置,至於為何是torch.size([1,2])我可能暫時無法更深入的解釋。 cluener數據集在tools/download_clue_data.py 中可以直接調用,請參照作者readme 或是直接從這鏈結下載cluener data
你好 就我的了解, train.json即是包含了訓練資料 以及標記的data. 具體格式: {"text": "浙商银行企业信贷部叶老桂博士则从另一个角度对五道门槛进行了解读。叶老桂认为,对目前国内商业银行而言,", "label": {"name": {"叶老桂": [[9, 11]]}, "company": {"浙商银行": [[0, 3]]}}} text為訓練例句(instance), label中的name和company是訓練項目中的entity, 你可以選擇自己需要的去留存就好。 另外label中entity的[n,m] 表示該entity在text中的位置,至於為何是torch.size([1,2])我可能暫時無法更深入的解釋。 cluener數據集在tools/download_clue_data.py 中可以直接調用,請參照作者readme 或是直接從這鏈結下載cluener data
多谢解答
直接运行 sh run_ner_crf.py 出了如下错误: Traceback (most recent call last): File "run_ner_crf.py", line 496, in
main()
File "run_ner_crf.py", line 436, in main
train_dataset = load_and_cache_examples(args, args.task_name, tokenizer, data_type='train')
File "run_ner_crf.py", line 336, in load_and_cache_examples
examples = processor.get_train_examples(args.data_dir)
File "/home/wei/A_TestProject/BERT-NER-Pytorch-master/processors/ner_seq.py", line 204, in get_train_examples
return self._create_examples(self._read_json(os.path.join(data_dir, "train.json")), "train")
File "/home/wei/A_TestProject/BERT-NER-Pytorch-master/processors/utils_ner.py", line 75, in _read_json
with open(input_file,'r') as f:
FileNotFoundError: [Errno 2] No such file or directory: '/home/wei/A_TestProject/BERT-NER-Pytorch-master/datasets/cluener/train.json'