Closed marvel2120 closed 2 years ago
answer = self.tokenizer.decode(input_ids[answer_start[0][i]:answer_end[0][i] + 1], skip_special_tokens=True) 当在从input_id转tokens的时候存在unk的情况，这种情况下怎么才能将unk对应到原文的内容呢？
例子： 问题：我居住在哪里？ 段落：我居住在adsffasdf
应该输出adsffasdf 但是上面代码输出[UNK]
知道问题所在了
marvel2120
commented
2 years ago marvel2120
commented
2 years ago
answer = self.tokenizer.decode(input_ids[answer_start[0][i]:answer_end[0][i] + 1], skip_special_tokens=True) 当在从input_id转tokens的时候存在unk的情况，这种情况下怎么才能将unk对应到原文的内容呢？
例子： 问题：我居住在哪里？ 段落：我居住在adsffasdf
应该输出adsffasdf 但是上面代码输出[UNK]