Closed Ariel-lu closed 1 year ago
您好,想请教一下在进行训练时,在data_processor进行数据处理时会报self.tokenizer.decode(input_ids[t_e]) IndexError: list index out of range这个错误,我猜想是不是t_e的下标超出了句子的长度,这个错误该怎么解决呢?在nyt和webnlg上都遇到了这个问题。
Hi!你好,是在data_processor.py 257行报错吗,确认下你使用的数据是不是我们上传的或者TPLinker提供的,TPLinker作者对数据做了切分处理
是的,在data_processor.py 259行报错,数据集是根据readme中的链接直接从google云盘中下载的
我刚测试了下没有复现这个问题
好的,谢谢您。
您好,想请教一下在进行训练时,在data_processor进行数据处理时会报self.tokenizer.decode(input_ids[t_e]) IndexError: list index out of range这个错误,我猜想是不是t_e的下标超出了句子的长度,这个错误该怎么解决呢?在nyt和webnlg上都遇到了这个问题。