Open zhangxiaofan-zy opened 2 years ago
您好 推理部分有误 tokennizer之后的token如果有英文之类的会造成错位,所以最后索引的时候要有一个原始text到token的mapping来定位,不能直接通过指针位置对应的tokenlist来还原原始的spo
您好,请问您这个问题解决了吗?我用英文数据集的时候就出现了这个问题,PRF全是0,loss已经掉了很低了。
您好 推理部分有误 tokennizer之后的token如果有英文之类的会造成错位,所以最后索引的时候要有一个原始text到token的mapping来定位,不能直接通过指针位置对应的tokenlist来还原原始的spo