ghost
commented
3 years ago 您好，
关于您的第一个问题：
- 非常抱歉，这里是我在后面整理代码的时候引入一个bug。我已经在最新版本的代码里面进行了修正。
- 正确的代码应该是
if offset_idx_dict[int(s_idx)] <= max_tokens_for_doc and offset_idx_dict[int(e_idx)] <= max_tokens_for_doc :
关于您的第二个问题：
- 我们的模型参考了 BERT模型用来做问答任务的代码 (https://github.com/google-research/bert/blob/eedf5716ce1268e56f0a50264a88cafad334ac61/run_squad.py#L395)。
- input_mask和input_sequence_tokens中的token一一对应。非[PAD] token位置对应的input_mask都应该是1，[PAD]对应的input_mask应该为0.
感谢！
您好，请教下，这行代码的意思是什么？max_tokens_for_doc这个变量已经减去过 len(query_tokens)了 https://github.com/ShannonAI/mrc-for-flat-nested-ner/blob/master/data_loader/mrc_utils.py#L146
另外，https://github.com/ShannonAI/mrc-for-flat-nested-ner/blob/master/data_loader/mrc_utils.py#L187 这行代码中的input_mask.append(1) 作用是什么？ 后面直接有语句input_mask = [1] * len(input_tokens)，好像input_mask.append(1) 没起作用？