k2-fsa / icefall

https://k2-fsa.github.io/icefall/
Apache License 2.0
912 stars 292 forks source link

Decoding result error #1379

Closed weru88097 closed 7 months ago

weru88097 commented 11 months ago

When I use aishell1 dataset, fast_beam_search_nbest_oracle decoding method, the decoding result shows 100 percent error rate, and switching to modified_beam_search decoding method shows 700 percent error rate. please answer! Thanks!

settings WER blank_penalty_0.0_beam_20.0_max_contexts_8_max_states_64_num_paths_200_nbest_scale_0.5 100.0

settings WER beam_size_4_blank_penalty_0.0 773.47

csukuangfj commented 11 months ago

Please post the detailed decoding results. You can find it in the errs-xxx file.

weru88097 commented 11 months ago

fast_beam_search_nbest_oracle decoding method: %WER = 100.00 Errors: 0 insertions, 205341 deletions, 0 substitutions, over 205341 reference words (0 correct) Search below for sections starting with PER-UTT DETAILS:, SUBSTITUTIONS:, DELETIONS:, INSERTIONS:, PER-WORD STATS:

modified_beam_search decoding method: %WER = 773.47 Errors: 1390974 insertions, 124 deletions, 197156 substitutions, over 205341 reference words (8061 correct) Search below for sections starting with PER-UTT DETAILS:, SUBSTITUTIONS:, DELETIONS:, INSERTIONS:, PER-WORD STATS:

csukuangfj commented 11 months ago

please post some of the decoded results, not just the numbers

weru88097 commented 11 months ago

fast_beam_search_nbest_oracle decoding method: %WER = 773.47 Errors: 1390974 insertions, 124 deletions, 197156 substitutions, over 205341 reference words (8061 correct) Search below for sections starting with PER-UTT DETAILS:, SUBSTITUTIONS:, DELETIONS:, INSERTIONS:, PER-WORD STATS:

PER-UTT DETAILS: corr or (ref->hyp)
BAC009S0724W0121-6918: (广 州 市 房 地 产 中 介 协 会 分 析->锈 钢 炒 锅 图 片 来 源 搜 狐 娱 乐 讯 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 截 至 昨 日 凌 晨 惊 传 逝 世 尬 情 况 勉 尽 责 备 案 制 度 狐) BAC009S0724W0122-6912: (广 州 市 房 地 产 中 介 协 会 还 表 示->让 粉 丝 纷 纷 留 言 赞 助 商 索 赔 损 害 抚 慰 金 寨 路 宁 泽 涛 遇 害 嫌 疑 人 抓 获 犯 罪 嫌 疑 人 究 竟 隐 藏 着 掖 着 藏 果 蔬 保 鲜 东 亚 杯 逊 圾 酬 箱 刑 事 拘 留 役 墙 皮 掉 落 砸 伤 卧 床 休 养 符 合 烈 士 陵 园 恢 复 盈 率 偏 低 碳 姣 食 品 添 加 剂 检 验 检 疫 局 解 释 甫 涞 水 县 委 书 记 录 仪 鱼 目 妇 狐) BAC009S0724W0123-6977: 相 (比 于 其 他 一 线 城 市->关 责 任 编 辑 姜 炯 贷 款 馀 额 侵 蚀 净 利 润 率 油 烟 机 械 锁 芯 依 然 猖 獗 索 酒 吧 献 唱 娱 乐 讯 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 截 至 昨 日 凌 晨 惊 传 逝 世 尬 局 面 尤 浩 饮 料 品 种 业 务) BAC009S0724W0124-7105: 广 州 (二 手 住 宅 市 场 表 现 一 直 相 对 稳 健->深 圳 龙 岗 警 方 抓 获 犯 罪 嫌 疑 人 抓 获 犯 罪 嫌 疑 人 讹 危 险 废 物 萄 板 块 溢 价 率 百 分 之 零 点 六 万 馀 元 侵 占 罪 判 刑 拘 役 炼 油 厂 油 罐 爆 炸 事 故 责 任 编 辑 姜 炯 贷 款 馀 额 宝 约 翰 逊 矿 泉 水 卖 淫 嫖 娼 刑 事 拘 留 域 斜 坡 溜 入 江 苏 省 烟 草 频 予 置 评 请 求 赔 偿 责 任 编 辑 姜 炯 贷 款 损 失 赔 偿 责 任 编 辑 姜 炯 贷 款 损 失 抚 恤 金 差 距 甚 远 郊 区 域 市 场) BAC009S0724W0125-6913: (而 在 股 市 大->让 粉 丝 纷 纷 留 言 板 块 溢 价 率 涨) 幅 (震 荡 的 环 境 下->为 百 分 之 零 点 七 英 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸 屏 幕 尺 寸) BAC009S0724W0126-7083: (预 计 第 三->云 南 省 检 察 院 批 准 逮 捕 邱 姓 摩 托 版 键 盘 鼠 标 追 究 刑 责 任 编 辑 姜 炯 贷 款 馀 额 侵 占 罪 判 刑 拘 役 炼 油 厂 迁 址 薪 酬 盈 利 模 式 彷 彿 像 朋 友 圈 晒 照 忘 屏 蔽 删 除 虚 假 陈 述 揭 露 姐 姐 怂 恿 丈 夫 砍 死 媳 妇 徐 若 瑄 怀 孕 逃 避 坐 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 牢 把 握 旺) 季 (度 将 陆 续 有 部 分 股 市 资 金 重 归 楼 市->倘 若 迫 使 李 宗 伟 贡 献 象 棋 围 棋 象 棋 围 棋) BAC009S0724W0127-7047: (但 受 穗 六 条 及 二 套 房 首 付 七 成 的 制 约->上 海 迪 士 尼 度 假 区 副 校 长 宫 田 亮 平 担 任 委 员 候 选 委 员 候 选 委 员 候 选 委 员 候 选 聘 副 总 裁 郁 亮 曾 撰 文 信 息 披 露 盈 利 模 式 彷 彿 吃 醋 杀 夫 妻 俩 翻 白 眼 荼 缭 乱 窜 乱 象 亟 待 解 释 甫 迟 迟 疵 况 愈 下 愈 演 愈 烈 愈 演 愈 烈 士 陵 园 恢 复 系 统 漏 洞 攻 击 勒 索 罪 批 准 逮 捕 邱 姓 摩 托 罗 拉 移 植 手 术 截 肢 圾 田 卿 赵 芸 蕾 率 先 触 壁 夺 台 湾 媒 体 报 道) BAC009S0724W0128-6982: (下 半 年 楼 市 能 是 否 能 回 到 快 速 上 升 通 道 依->台 湾 媒 体 报 道 记 者 裴 晓 兰 透 露 姓 名 墙 截 图 澎 湃 新 闻 纵 横 驰 骋 而 互 联 网 思 维 碳 疆 食 品 添 加 剂 检 察 院 检 察 院 批 准 逮 捕 邱 姓 摩 托 罗 拉 移 动 互 联 网 思 维 模 式 彷 彿 吃 醋 丈 夫 砍 死 媳 妇 徐 若 瑄 怀 孕 逃 避 刑 事 拘 留 役 墙 皮 掉 落 仓 库 璃 弹 碎 尬 桥 梁 施 瓦 尼 茨 占 据 船 舶 订 单 减 少 碳 排 放 量 占 百 分 之 八 十 九 秒 屈 居 亚 军 傅 园 慧 虽) 然 (存 在 变 数->屈 居 亚 军 傅 园 慧 虽 然 屈 居 亚 军 傅 园 慧 夺 冠 泳 池 霸 气 庆 祝 仪 式 驱 赶 蚊 子 咬 死 圾 水 葫 芦 阻 塞 尔 刑 拘 役 炼 油 厂 油 制 狐) BAC009S0724W0129-6894: (其 中 越 秀 区 涨 幅 领 先->搜 狐 娱 乐 讯 据 香 港 媒 体 报 道 据 台 湾 媒 体 报 道 记 者 裴 晓 兰 郑 召 玉 恰 恰 契 约 签 订 协 议 签 署 谅 解 备 忘 录 签 订 协 议 签 署 谅 解 备 忘 录 签 署 谅 解 备 忘 录 签 署 框 架 协 议 控 制 措 施 倘 若 迫 使 李 宗 伟 杀 拘 役 炼 油 厂 油 烟 机) BAC009S0724W0130-7066: (天 河 区 的 签 约 面 积 在 豪 宅 交 投 增 多 的 带->台 湾 媒 体 报 道 据 台 湾 媒 体 报 道 据 台 湾 媒 体 疆 食 品 添 加 剂 检 察 院 批 准 逮 捕 邱 姓 摩 托 罗 拉 系 统 漏 洞 攻 击 勒 索 罪 批 准 逮 捕 邱 姓 摩 托 罗 拉 移) 动 (下 上 升 较 快->互 联 网 思 维 模 式 彷 彿 像 朋 友 圈 晒 照 忘 屏 蔽 删 除 冒 牌 茅 台 疑 似 劫 持 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 庭 审 理 此 案 侦 查 纹 素 颜 照 娱 乐 讯 据 香 港 媒 体 报 道 据 香 港 媒 体 报 道 记 者 魏 徽 徽 抄 袭 丑 闻 闹 得 沸 沸 扬 扬 镳 仪 功 夫 熊 猫 牡 丹 江 惯 挖 掘 潜 力 巨 大 成 熟 毒) BAC009S0724W0131-6855: (其 中 天 河 区 增 长 幅 度 近->记 者 陈 子 垤 昨 日 凌 晨 惊 传 肝 癌 病 逝 享 年 末 委 托 贷 款 馀 额 侵 蚀 净 利 润 亏 损 额 抚 养 费 征 收 契 税 暂 净 币 约 束 鼓 励 符 合 烈 士 陵 园 恢 复 盈 率 偏 低 碳 疆 食 品 添 加 剂 耗 材 料 齐 全 符 合 烈 士 陵 园 恢 复 畅 通 跨 境 溢 价 率 达) 百 分 之 (三->八 十 八 秒 屈 居 亚 军 傅 园 慧 夺 冠 泳 池 霸 气 庆 祝 故 宫 博 物 馆 权 益 狐) BAC009S0724W0132-7121: (六 万 平 方 米 的 刚 需 户 型 成 交 份 额 下 调 一 个 百 分 点->哈 尔 滨 患 脑 肿 瘤 君 包 穿 衣 戴 帽 搜 狐 娱 乐 讯 据 台 湾 媒 体 曝 光 郑 映 锷 石 墨 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 煤 制 烯 烃 等 少 数) BAC009S0724W0133-7117: (但 仍 以 百 分 之 四 占 据 市 场 主 力 位 置->让 粉 丝 纷 纷 留 言 板 鼓 励 符 合 烈 士 陵 园 恢 复 盈 利 模 式 彷 彿 像 朋 友 圈 迅 速 赶 赴 慈 善 捐 赠 抗 菌 药 物 目 录 修 订 涞 水 县 土 地 储 备 衔 接 协 议 签 署 框 架 协 议 签 署 谅 解 备 忘 录 签 署 谅 解 备 忘 录 签 署 框 架 协 议 签 署 谅 解 备 忘 录 签 署 框 架 协 议 签 署 仪 式 挂 牌 督 办 事 处 罚 力 度) BAC009S0724W0134-7098: (中 心 六 区 中 介 促 成 二 手 住 宅 的 十 大 活 跃 板 块 中->北 京 晨 报 讯 记 者 殷 立 勤 晨 报 讯 记 者 李 铁 柱 子 操 纵 燃 油 汽 车 仓 皇 逃 窜 迷 宫 轨 道 厢 底 按 摩 托 罗 拉 系 统 漏 洞 攻 击 勒 索 罪 批 准 逮 捕 邱 姓 摩 托 罗 拉 移 动 互 联 网 思 维 模 式 彷 彿 像 朋 友 圈 晒 照 忘 屏 蔽 删 除 冒 牌 茅 台 疑 似 劫 持 劫 匪 劫 杀 劫 杀 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 匪 劫 杀 劫 罪 盗 窃 案 牵 扯 圾 围 棋 象 棋 围 棋 象 棋 围 棋 象 棋 围 棋 象 棋)

csukuangfj commented 11 months ago

have you changed any code?

weru88097 commented 11 months ago

No code was changed, only the decoder for the aishell1 dataset zipformer was run.

------------------ 原始邮件 ------------------ 发件人: "k2-fsa/icefall" @.>; 发送时间: 2023年11月9日(星期四) 下午2:17 @.>; @.**@.>; 主题: Re: [k2-fsa/icefall] Decoding result error (Issue #1379)

have you changed any code?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

csukuangfj commented 11 months ago

Which recipe are you using and where do you get the model?

Are you able to reproduce the results from https://github.com/k2-fsa/icefall/blob/master/egs/aishell/ASR/RESULTS.md by downloading pre-trained models?