search

qiufengyuyi / event_extraction

baidu aistudio event extraction competition
MIT License
224 stars 39 forks source link

您好作者，请问这部分逻辑能稍微解释下吗？type_index_in_token_ids这个变量有点迷， #8

Open bupianlizhugui opened 4 years ago

bupianlizhugui commented 4 years ago

https://github.com/qiufengyuyi/event_extraction/blob/f7daafce811ee9c865353d1a91a827427d7c3e6a/models/bert_event_type_classification.py#L99

image

type_index_in_token_ids这个变量是存储了原始句子语料+标签索引后的len长度，每加一个标签长度都做存储。为啥和batch_ids有关系呢？

qiufengyuyi commented 3 years ago

https://github.com/qiufengyuyi/event_extraction/blob/f7daafce811ee9c865353d1a91a827427d7c3e6a/models/bert_event_type_classification.py#L99

image

type_index_in_token_ids这个变量是存储了原始句子语料+标签索引后的len长度，每加一个标签长度都做存储。为啥和batch_ids有关系呢？

这个就涉及到gather_nd的机制了，他需要从一个batch中的每条序列上去索引事件类型文本片段的开头cls在序列中的位置，所以要把batch_ids也放到type_index中