circlePi / knowledge-driven-dialogue-lic2019

2019 语言与智能技术竞赛-知识驱动对话 B榜第5名源码和模型
25 stars 4 forks source link

输入部分为什么有重复? #5

Open Chriszhangmw opened 4 years ago

Chriszhangmw commented 4 years ago

src is : ['[Session-0] [CLS] [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] 知道 外国 有 个 明星 长 得 很 萌 吗 ? [Session-1] 这个 还 真 不知道 呢 , 请问 是 谁 啊 ? [K-G] 托马斯 · 桑斯特 血型 A型 [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 获奖 移动迷宫提名 ( 2015 ; 第17届 ) 青少年选择奖 青少年选择奖 - 最佳 电影 火花 [K-G] 托马斯 · 桑斯特 性别 男 [K-G] 托马斯 · 桑斯特 职业 演员 [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [K-G] 托马斯 · 桑斯特 主要成就 2004年 金卫星奖 年轻 男演员 奖 提名 [K-G] 托马斯 · 桑斯特 代表作 神秘博士第三季 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] 知道 外国 有 个 明星 长 得 很 萌 吗 ? [Session-1] 这个 还 真 不知道 呢 , 请问 是 谁 啊 ? [K-G] 托马斯 · 桑斯特 血型 A型 [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 获奖 移动迷宫提名 ( 2015 ; 第17届 ) 青少年选择奖 青少年选择奖 - 最佳 电影 火花 [K-G] 托马斯 · 桑斯特 性别 男 [K-G] 托马斯 · 桑斯特 职业 演员 [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [K-G] 托马斯 · 桑斯特 主要成就 2004年 金卫星奖 年轻 男演员 奖 提名 [K-G] 托马斯 · 桑斯特 代表作 神秘博士第三季 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] 知道 外国 有 个 明星 长 得 很 萌 吗 ? [Session-1] 这个 还 真 不知道 呢 , 请问 是 谁 啊 ? 是 托马斯 · 桑斯特 , 颜值 太 高 了 。 [Session-2] 哦 , 没 应 说过 呢 , 你 能 给 大体 说说 么 ? [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-1] 这个 还 真 不知道 呢 , 请问 是 谁 啊 ? 是 托马斯 · 桑斯特 , 颜值 太 高 了 。 [Session-2] 哦 , 没 应 说过 呢 , 你 能 给 大体 说说 么 ? [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-1] 这个 还 真 不知道 呢 , 请问 是 谁 啊 ? 是 托马斯 · 桑斯特 , 颜值 太 高 了 。 [Session-2] 哦 , 没 应 说过 呢 , 你 能 给 大体 说说 么 ? 给 你 大体 说说 , 他 口碑 很好 的 , 也 很 有 才华 , 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 [Session-3] 是 谁 啊 ? [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 陈思宇 星座 金牛座 [K-G] 陈思宇 毕业 院校 北京电影学院 [K-G] 陈思宇 体重 65kg [K-G] 陈思宇 性别 男 [K-G] 陈思宇 职业 演员 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-2] 哦 , 没 应 说过 呢 , 你 能 给 大体 说说 么 ? 给 你 大体 说说 , 他 口碑 很好 的 , 也 很 有 才华 , 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 [Session-3] 是 谁 啊 ? [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 陈思宇 星座 金牛座 [K-G] 陈思宇 毕业 院校 北京电影学院 [K-G] 陈思宇 体重 65kg [K-G] 陈思宇 性别 男 [K-G] 陈思宇 职业 演员 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 , 萌 翻 了 , 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16'] tgt is : [' 知道 外国 有 个 明星 长 得 很 萌 吗 ? ', ' 知道 外国 有 个 明星 长 得 很 萌 吗 ? ', ' 是 托马斯 · 桑斯特 , 颜值 太 高 了 。 ', ' 是 托马斯 · 桑斯特 , 颜值 太 高 了 。 ', ' 给 你 大体 说说 , 他 口碑 很好 的 , 也 很 有 才华 , 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 ', ' 给 你 大体 说说 , 他 口碑 很好 的 , 也 很 有 才华 , 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 ', ' 陈思宇 , 金牛座 的 , 毕业 于 北京电影学院 。 ', ' 陈思宇 , 金牛座 的 , 毕业 于 北京电影学院 。 ']

如上,为什么有些conversation的句子不断重复呢?