the model suddenly predict many useless word during training, and scores dropped down to 0

[han2303632]

i use Chinese dataset, the log is as follow, what is wrong:

greedy: 'similar' answer: 'similar' context: 'premise: "花 呗 商 家 扣 费 么"' question: 'hypothesis: "怎 么 成 为 花 呗 商 家" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "信 用 卡 可 以 办 吗"' question: 'hypothesis: "我 的 借 呗 可 以 用 银 行 卡 还 钱 吗" -- similar, or dissimilar?'

greedy: 'dissimilar' answer: 'dissimilar' context: 'premise: "花 呗 ， 怎 么 退 款"' question: 'hypothesis: "蚂 蚁 花 呗 怎 么 退 款" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "能 从 新 开 花 呗 吗"' question: 'hypothesis: "补 全 身 份 信 息 就 能 开 通 花 呗 吗" -- similar, or dissimilar?'

greedy: 'dissimilar' answer: 'similar' context: 'premise: "花 呗 怎 么 查 明 细"' question: 'hypothesis: "怎 样 查 花 呗 上 买 的 快 递" -- similar, or dissimilar?'

greedy: 'dissimilar' answer: 'dissimilar' context: 'premise: "蚂 蚁 借 呗 钱 少 了"' question: 'hypothesis: "我 能 问 下 我 还 借 呗 的 钱 怎 么 少 了" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "商 户 花 呗 收 款 码"' question: 'hypothesis: "收 钱 码 花 呗 信 用 卡 额 度" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "花 呗 是 不 是 没 还"' question: 'hypothesis: "我 的 花 呗 ， 没 有 还 款 ， 但 是 为 啥 没 有 还 款 的 页 面" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "信 用 守 护 有 借 呗"' question: 'hypothesis: "芝 麻 信 用 的 信 用 守 护 出 现 了 借 呗 为 什 么 不 可 以 用" -- similar, or dissimilar?'

greedy: 'dissimilar' answer: 'similar' context: 'premise: "花 呗 多 久 可 以 用"' question: 'hypothesis: "什 么 时 候 花 呗 可 以 使 用" -- similar, or dissimilar?'

greedy: 'dissimilar' answer: 'similar' context: 'premise: "花 呗 开 开 通 不 了"' question: 'hypothesis: "怎 么 我 不 能 开 通 花 呗 收 款" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "借 呗 关 闭 的 理 由"' question: 'hypothesis: "我 的 借 呗 总 额" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "双 十 一 借 呗 免 息"' question: 'hypothesis: "借 呗 免 息 * 天" -- similar, or dissimilar?'

greedy: 'similar' answer: 'similar' context: 'premise: "什 么 还 花 呗 还 款"' question: 'hypothesis: "花 呗 ， 是 干 什 么 的" -- similar, or dissimilar?'

greedy: 'dissimilar' answer: 'dissimilar' context: 'premise: "花 呗 标 示 的 商 品"' question: 'hypothesis: "花 呗 识 别 的 商 品" -- similar, or dissimilar?'

process_0 - 18/09/11/17/16/46.736412:00:00:49:38:iteration_9000:train_ali:val_ali:em_68.73:nf1_68.73:nem_68.73 process_0 - 18/09/11/17/16/46.736412:00:00:49:38:iteration_9000:train_ali:avbatch_322_25_3:loss_0.2458 process_0 - 18/09/11/17/16/46.736412:00:00:50:11:iteration_9100:train_ali:avbatch_317_26_3:loss_0.2419 process_0 - 18/09/11/17/16/46.736412:00:00:50:45:iteration_9200:train_ali:avbatch_325_25_3:loss_0.2464 process_0 - 18/09/11/17/16/46.736412:00:00:51:18:iteration_9300:train_ali:avbatch_315_26_3:loss_0.2404 process_0 - 18/09/11/17/16/46.736412:00:00:51:52:iteration_9400:train_ali:avbatch_325_25_3:loss_0.2435 process_0 - 18/09/11/17/16/46.736412:00:00:52:25:iteration_9500:train_ali:avbatch_315_26_3:loss_0.2386 process_0 - 18/09/11/17/16/46.736412:00:00:52:59:iteration_9600:train_ali:avbatch_320_25_3:loss_0.2396 process_0 - 18/09/11/17/16/46.736412:00:00:53:31:iteration_9700:train_ali:avbatch_321_25_3:loss_0.2450 process_0 - 18/09/11/17/16/46.736412:00:00:54:02:iteration_9800:train_ali:avbatch_321_25_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:54:31:iteration_9900:train_ali:avbatch_321_25_3:loss_nan

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "花 呗 商 家 扣 费 么"' question: 'hypothesis: "怎 么 成 为 花 呗 商 家" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "信 用 卡 可 以 办 吗"' question: 'hypothesis: "我 的 借 呗 可 以 用 银 行 卡 还 钱 吗" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'dissimilar' context: 'premise: "花 呗 ， 怎 么 退 款"' question: 'hypothesis: "蚂 蚁 花 呗 怎 么 退 款" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "能 从 新 开 花 呗 吗"' question: 'hypothesis: "补 全 身 份 信 息 就 能 开 通 花 呗 吗" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "花 呗 怎 么 查 明 细"' question: 'hypothesis: "怎 样 查 花 呗 上 买 的 快 递" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'dissimilar' context: 'premise: "蚂 蚁 借 呗 钱 少 了"' question: 'hypothesis: "我 能 问 下 我 还 借 呗 的 钱 怎 么 少 了" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "商 户 花 呗 收 款 码"' question: 'hypothesis: "收 钱 码 花 呗 信 用 卡 额 度" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "花 呗 是 不 是 没 还"' question: 'hypothesis: "我 的 花 呗 ， 没 有 还 款 ， 但 是 为 啥 没 有 还 款 的 页 面" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "信 用 守 护 有 借 呗"' question: 'hypothesis: "芝 麻 信 用 的 信 用 守 护 出 现 了 借 呗 为 什 么 不 可 以 用" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "花 呗 多 久 可 以 用"' question: 'hypothesis: "什 么 时 候 花 呗 可 以 使 用" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "花 呗 开 开 通 不 了"' question: 'hypothesis: "怎 么 我 不 能 开 通 花 呗 收 款" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "借 呗 关 闭 的 理 由"' question: 'hypothesis: "我 的 借 呗 总 额" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "双 十 一 借 呗 免 息"' question: 'hypothesis: "借 呗 免 息 * 天" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'similar' context: 'premise: "什 么 还 花 呗 还 款"' question: 'hypothesis: "花 呗 ， 是 干 什 么 的" -- similar, or dissimilar?'

greedy: '鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁 鲁' answer: 'dissimilar' context: 'premise: "花 呗 标 示 的 商 品"' question: 'hypothesis: "花 呗 识 别 的 商 品" -- similar, or dissimilar?'

process_0 - 18/09/11/17/16/46.736412:00:00:55:21:iteration_10000:train_ali:val_ali:em_0.00:nf1_0.00:nem_0.00 process_0 - 18/09/11/17/16/46.736412:00:00:55:21:iteration_10000:train_ali:avbatch_321_26_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:55:50:iteration_10100:train_ali:avbatch_321_25_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:56:21:iteration_10200:train_ali:avbatch_314_26_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:56:53:iteration_10300:train_ali:avbatch_326_25_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:57:24:iteration_10400:train_ali:avbatch_311_27_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:57:58:iteration_10500:train_ali:avbatch_323_25_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:58:31:iteration_10600:train_ali:avbatch_316_26_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:59:04:iteration_10700:train_ali:avbatch_315_26_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:00:59:35:iteration_10800:train_ali:avbatch_323_25_3:loss_nan process_0 - 18/09/11/17/16/46.736412:00:01:00:05:iteration_10900:train_ali:avbatch_327_25_3:loss_nan

[bmccann]

Oh wow. That’s surprising. Any chance you are able to share this data with me so I can debug more hands on. It’s not clear why this would happen just looking at the outputs.

[bmccann]

Not sure how to help you with this. Closing for now, but if you can debug some, find a solution, or send me the data so that I can run it, feel free to re-open.