search

YunwenTechnology / Unilm

438 stars 87 forks source link

关于数据输入的问题 #2

Open maoyj0119 opened 4 years ago

maoyj0119 commented 4 years ago

你好！ 关于文本摘要生成的任务 我的数据集是train.src和train.tgt两个文件分别装有text和summarization请问应该如何封装dataset

maoyj0119 commented 4 years ago

image 这样子修改可以了吗

YunwenTechnology commented 4 years ago

看起来应该没有问题，可以在在进入模型前将数据打出，观察是否对应。 或将两个文件按照格式进行融合

maoyj0119 commented 4 years ago

image 你好出现的是这样子的问题，似乎是迭代的时候有些问题

guijuzhejiang commented 4 years ago

模型需要的一行数据是什么格式的？能不能给个例子参考，谢谢

maoyj0119 commented 4 years ago

模型需要的一行数据是什么格式的？能不能给个例子参考，谢谢 你好 src与tgt都是一行一句化的形式，以下是我当时做的修改 image image

lidongxing commented 3 years ago

模型需要的一行数据是什么格式的？能不能给个例子参考，谢谢 你好 src与tgt都是一行一句化的形式，以下是我当时做的修改 image image

Have you pretraining the unilm model successfully? Thanks.