yhcc / BARTABSA

142 stars 28 forks source link

请问为什么换了一个新数据集(英文)无法跑通 #20

Closed FanY1999 closed 1 year ago

FanY1999 commented 1 year ago

作者您好,我想要将ATE任务的数据集换成一个新的数据集(ASTE-Data-V2),在我将数据转换为ATE任务要求的格式后(与wang的数据格式一致),代码跑不通了。

bug存在于BartDecoder中,具体如下:

屏幕截图 2022-11-16 215038.png

我输出了一下,这里input_ids并不是具体的tensor值,变成了数据的地址信息(比如 <torch.Tensor object at 0x7ff5ce4b2280>),positions也变成了类似情况。

请问你们在数据预处理阶段有对数据做什么特殊处理吗?或者ATE任务对数据有什么特殊要求吗?

FanY1999 commented 1 year ago

作者您好,我想要将ATE任务的数据集换成一个新的数据集(ASTE-Data-V2),在我将数据转换为ATE任务要求的格式后(与wang的数据格式一致),代码跑不通了。

bug存在于BartDecoder中,具体如下:

屏幕截图 2022-11-16 215038.png

我输出了一下,这里input_ids并不是具体的tensor值,变成了数据的地址信息(比如 <torch.Tensor object at 0x7ff5ce4b2280>),positions也变成了类似情况。

请问你们在数据预处理阶段有对数据做什么特殊处理吗?或者ATE任务对数据有什么特殊要求吗?

已解决