Summarization extraction Poor effect

[Single430]

Description

The result of my Chinese abstract extraction training using tensor2tensor is very poor. I have been looking for a long time, but I still can't find the problem, I hope I can get a reply.

Environment information

OS: Linux

$ pip freeze | grep tensor
# your output here
tensorboard==1.13.1
tensorflow-estimator==1.13.0
tensorflow-gpu==1.13.1

$ python -V
# your output here
Python 3.6.8

For bugs: reproduction and error logs

# Steps to reproduce:
#!/usr/bin/env bash

PROBLEMS_DATA_DIR=/mnt/data/bielin.zhuo/tensor2tensor/zh_summ

PROBLEM=zh_problem
MODEL=transformer
HPARAMS=transformer_prepend

DATA_DIR=${PROBLEMS_DATA_DIR}/zh_data/
TRAIN_DIR=zh_train/
USER_DIR=usr_dir/

echo "Starting t2t-decoder .."

# Train
# *  If you run out of memory, add --hparams='batch_size=1024'.
t2t-decoder \
  --data_dir=${DATA_DIR} \
  --problem=${PROBLEM} \
  --model=${MODEL} \
  --hparams_set=${HPARAMS} \
  --output_dir=${TRAIN_DIR} \
  --t2t_usr_dir=${USER_DIR} \
  --decode_hparams="beam_size=4,alpha=0.6" \
  --decode_from_file=zh_decoder/eval.txt \
  --decode_to_file=zh_decoder/result.txt

# Error logs:
INPUT:   南 方 都 市 报 2 0 1 5 - 0 8 - 0 2 < P a r a g r a p h > 1 2 : 4 6 南 都 讯 < P a r a g r a p h > 记 者 何 永 华 < P a r a g r a p h > 昨 日 晚 上 9 点 多 ， 东 莞 厚 街 湖 光 路 上 的 一 栋 出 租 楼 内 ， 两 名 男 女 被 发 现 死 在 了 房 间 里 。 其 中 女 死 者 的 脖 子 上 有 致 命 的 刀 伤 ， 而 男 死 者 穿 戴 整 齐 ， 身 上 并 无 外 伤 。 今 日 上 午 ， 事 发 地 所 属 的 厚 街 派 出 所 的 负 责 人 向 南 都 记 者 证 实 ， 两 名 死 者 系 情 人 关 系 ， 因 感 情 纠 纷 ， 男 子 用 刀 割 破 女 子 的 喉 咙 ， 导 致 女 子 死 亡 。 男 子 随 后 喝 农 药 服 毒 自 杀 身 亡 。 涉 事 的 出 租 屋 。 < P a r a g r a p h > 南 都 记 者 < P a r a g r a p h > 何 永 华 < P a r a g r a p h > 摄 事 发 在 厚 街 湖 光 路 上 一 家 名 为 海 潮 酒 店 对 门 的 出 租 楼 内 ， 具 体 的 房 间 是 3 0 8 号 房 。 据 曾 经 到 过 事 发 现 场 的 目 击 者 说 ， 3 0 8 号 的 房 门 虚 掩 着 ， 昨 日 晚 上 9 点 多 ， 可 能 是 因 为 被 风 吹 开 了 ， 有 住 在 同 一 层 楼 的 住 户 路 过 3 0 8 号 ， 借 着 走 廊 上 的 灯 光 ， 就 被 屋 内 眼 前 的 一 幕 吓 坏 了 ， 连 忙 通 知 房 东 报 了 警 。 “ 女 死 者 仰 面 躺 在 出 租 房 里 ， 喉 咙 处 有 刀 伤 ， 身 边 有 一 大 滩 血 迹 。 而 男 死 者 则 穿 戴 整 齐 的 躺 在 身 边 ， 身 上 没 有 任 何 的 外 伤 和 血 迹 。 ” 这 位 目 击 者 说 。 厚 街 派 出 所 的 民 警 很 快 就 赶 到 现 场 进 行 侦 查 。 到 今 天 凌 晨 ， 才 将 两 具 尸 体 抬 离 现 场 。 据 上 述 曾 经 到 过 现 场 的 目 击 者 说 ， 尸 体 微 微 有 些 发 臭 ， 初 步 判 断 两 人 是 在 前 天 晚 上 死 的 。 “ 前 天 下 午 还 曾 见 过 那 个 男 的 。 ” 一 位 同 住 该 出 租 房 的 租 客 说 ， 此 前 在 出 租 房 并 没 有 听 到 吵 闹 声 或 者 呼 救 声 。 “ 应 该 是 在 睡 梦 中 杀 人 ， 否 则 肯 定 能 听 到 响 声 。 ” 今 日 上 午 ， 南 都 记 者 来 到 事 发 的 现 场 ， 看 到 事 发 房 间 的 阳 台 已 经 被 塑 料 布 盖 住 。 整 栋 出 租 房 楼 已 经 恢 复 了 平 静 。 出 租 房 的 二 手 房 东 对 此 事 已 不 愿 开 口 。 厚 街 派 出 所 的 负 责 人 向 南 都 记 者 确 认 ， 两 名 死 者 系 情 人 关 系 ， 因 感 情 纠 纷 ， 男 子 用 刀 割 破 女 子 的 喉 咙 ， 导 致 女 子 死 亡 。 男 子 随 后 喝 农 药 服 毒 自 杀 身 亡 。 “ 昨 天 发 现 的 死 亡 ， 具 体 的 死 亡 时 间 还 有 待 确 认 。 ” 据 该 负 责 人 介 绍 ， 两 名 死 者 均 是 附 近 沐 足 阁 的 员 工 ， 都 来 自 广 西 。 其 中 男 死 者 姓 许 ， 2 8 岁 。 女 死 者 姓 罗 ， 3 4 岁 。 线 索 提 供 ： UNK 名 < P a r a g r a p h > 1 0 0 元

OUTPUT:    南 方 都 市 报 < P a r a g r a p h > 2 0 1 5 - 0 8 - 0 1 < P a r a g r a p h > 1 0 : 0 0 南 方 都 市 报 < P a r a g r a p h > 显 示 图 片 本 报 讯 < P a r a g r a p h > （ 记 者 < P a r a g r a p h > 李 UNK ） < P a r a g r a p h > 8 月 1 日 下 午 1 4 时 许 ， 广 州 天 河 区 天 河 区 天 河 区 天 河 区 天 河 区 天 然 气 公 司 天 然 气 公 司 发 生 爆 炸 事 故 ， 造 成 天 然 气 公 司 工 作 人 员 受 伤 。 天 河 警 方 接 到 报 警 ， 天 河 区 天 河 区 天 河 区 天 河 区 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 公 司 天 然 气 宣 布 ， 天 然 气 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 ， 天 然 气 集 团 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 宣 布 ， 天 然 气 集 团 天 然 气 集 团 天 然 气 集 团 天 然 气 ， 天 然 气 集 团 天 然 气 集 团 公 司 天 然 气 集 团 公 司 天 然 气 集 团 的 天 然 气 集 团 公 司 天 然 气 集 团 ， 天 然 气 集 团 天 然 气 集 团 公 司 天 然 气 集 团 ， 天 然 气 集 团 天 然 气 集 团 天 然 气 集 团 天 然 气 集 团 ， 天 然 气 集 团 天 然 气 集 团 的 天 然 气 集 团 ， 天 然 气 集 团 的 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 可 能 天 然 气 。

HOPE OUTPUT:    湖光路一出租楼内发现2名已死亡男女，警方称男死者因感情纠纷持刀割喉女子，随后喝农药自杀身亡(图)

[Single430]

@lukaszkaiser

[epurdy]

Try not using prepending? I know the docs say to do that for summarization, but it's only given me weird results.

[Single430]

How many steps did you train? @epurdy

[domyounglee]

Did you set the "prepend_mode" to none ? unless you would concat the encoder input to the decoder input

PROBLEM=summarize_cnn_dailymail32k MODEL=transformer HPARAMS=transformer_prepend

t2t-trainer --data_dir=$DATA_DIR --problem=$PROBLEM --model=$MODEL --hparams_set=$HPARAMS --output_dir=$TRAIN_DIR --worker_gpu=4 --hparams='batch_size=4096,prepend_mode=none,max_input_seq_length=512,max_target_seq_length=100' --train_steps=200000 --keep_checkpoint_max=10 --local_eval_frequency=5000 --eval_steps=30 --eval_run_autoregressive=False