PaddlePaddle / PaddleHub

Awesome pre-trained models toolkit based on PaddlePaddle. (400+ models including Image, Text, Audio, Video and Cross-Modal with Easy Inference & Serving)【安全加固,暂停交互,请耐心等待】
https://www.paddlepaddle.org.cn/hub
Apache License 2.0
12.72k stars 2.08k forks source link

在ai studio上进行自定义数据的SQUAD型阅读理解,报错Exception: the train file: train.json only has one column but it is not a predict file,请问怎么改 #471

Closed SDUwn closed 4 years ago

SDUwn commented 4 years ago

[2020-03-23 11:24:54,689] [ INFO] - Installing bert_chinese_L-12_H-768_A-12 module [2020-03-23 11:24:54,693] [ INFO] - Module bert_chinese_L-12_H-768_A-12 already installed in /home/aistudio/.paddlehub/modules/bert_chinese_L_12_H_768_A_12 [2020-03-23 11:24:58,420] [ INFO] - Load pretraining parameters from /home/aistudio/.paddlehub/modules/bert_chinese_L_12_H_768_A_12/assets/params. Traceback (most recent call last): File "reading_comprehension.py", line 122, in dataset = DemoDataset() File "reading_comprehension.py", line 88, in init train_file="train.json", File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlehub/dataset/base_nlp_dataset.py", line 51, in init predict_file_with_header=predict_file_with_header) File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlehub/dataset/dataset.py", line 94, in init self._load_train_examples() File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlehub/dataset/dataset.py", line 150, in _load_train_examples self.train_examples = self._read_file(self.train_path, phase="train") File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlehub/dataset/base_nlp_dataset.py", line 68, in _read_file % (phase, input_file)) Exception: the train file: train.json only has one column but it is not a predict file

Steffy-zxf commented 4 years ago

你好!根据错误提示,应该是你的训练集文件格式不对,可以根据paddlehub.dataset.SQUAD()数据集格式整理数据集格式。

SDUwn commented 4 years ago

你好!根据错误提示,应该是你的训练集文件格式不对,可以根据paddlehub.dataset.SQUAD()数据集格式整理数据集格式。

这种格式不对吗,这就是照着SQUAD格式写的呀。 { "data": [ { "title": "fake title", "paragraphs": [ { "context": "工 业 和 信 息 化 部 组 织 开 展 负 压 救 护 车 重 点 生 产 企 业 督 导 检 查 2 0 2 0 年 2 月 4 日 , 为 做 好 新 型 冠 状 病 毒 感 染 的 肺 炎 疫 情 防 控 物 资 保 障 工 作 , 加 强 负 压 救 护 车 生 产 质 量 检 查 工 作 , 工 业 和 信 息 化 部 装 备 工 业 一 司 会 同 国 家 卫 健 委 、 国 家 药 监 局 相 关 司 局 赴 北 京 北 铃 专 用 汽 车 有 限 公 司 进 行 督 导 检 查 , 重 点 了 解 企 业 生 产 及 检 测 过 程 、 产 品 质 量 和 生 产 一 致 性 保 障 能 力 、 安 全 生 产 工 作 等 情 况 。 与 此 同 时 , 工 业 和 信 息 化 部 装 备 工 业 一 司 委 托 河 南 、 江 苏 、 山 东 、 天 津 等 省 ( 市 ) 工 业 和 信 息 化 主 管 部 门 分 别 对 辖 区 内 生 产 负 压 救 护 车 、 负 压 设 备 等 关 键 零 部 件 的 企 业 开 展 督 导 检 查 , 了 解 并 协 调 解 决 企 业 生 产 过 程 中 遇 到 的 困 难 和 问 题 , 确 保 产 品 质 量 并 按 时 交 付 , 为 疫 情 防 控 工 作 做 出 积 极 贡 献 。", "qas": [ { "answers": [ { "answer_start": 218, "text": "北 京 北 铃 专 用 汽 车 有 限 公 司" } ], "question": "工 业 和 信 息 化 部 到 哪 家 企 业 进 行 督 导 检 查 ?", "id": "47a41a03966431739257ef215cdc1caa", "is_impossible": false } ] } ] }, { "title": "fake title", "paragraphs": [ { "context": "关 于 新 型 冠 状 病 毒 肺 炎 疫 情 防 控 情 况 下 稳 定 商 务 发 展 有 关 措 施 的 通 知 各 有 关 单 位 : 为 深 入 贯 彻 落 实 市 委 、 市 政 府 关 于 新 型 冠 状 病 毒 肺 炎 疫 情 防 控 工 作 部 署 , 全 力 做 好 商 务 领 域 疫 情 防 控 工 作 , 帮 助 企 业 经 营 , 服 务 市 民 生 活 , 稳 定 经 济 运 行 , 特 制 定 如 下 措 施 : 一 、 全 力 保 障 生 活 必 需 品 等 重 要 物 资 市 场 供 应 1 . 实 施 两 个 “ 点 对 点 ” 监 测 补 货 机 制 。 市 商 务 局 统 筹 重 点 企 业 、 一 级 批 发 市 场 及 大 型 连 锁 企 业 , 加 大 政 府 储 备 和 货 源 组 织 , 指 导 各 区 落 实 属 地 责 任 , 加 强 零 售 终 端 和 一 、 二 级 市 场 对 接 。 各 区 商 务 局 抓 好 二 级 市 场 和 非 连 锁 超 市 供 应 保 障 , 完 善 区 域 生 活 必 需 品 保 供 机 制 , 建 立 预 防 断 货 响 应 机 制 , 落 实 好 补 货 网 络 体 系 。 2 . 对 疫 情 防 控 期 间 重 点 保 障 生 活 必 需 品 的 运 输 , 积 极 协 调 有 关 部 门 优 化 通 行 保 障 , 提 供 通 行 便 利 。 3 . 增 加 蔬 菜 供 给 , 稳 定 市 场 供 应 。 提 高 仓 储 能 力 , 增 加 政 府 储 备 , 加 大 调 运 力 度 。 延 长 春 节 蔬 菜 保 供 联 合 行 动 措 施 , 推 动 减 免 入 场 交 易 费 用 , 吸 引 商 户 进 场 交 易 。 4 . 拓 展 进 口 渠 道 , 积 极 增 加 防 疫 物 资 进 口 。 对 疫 情 期 间 急 需 进 口 的 医 疗 器 械 等 医 药 产 品 , 推 动 简 化 进 口 通 关 流 程 。 对 企 业 在 疫 情 期 间 进 口 防 疫 物 资 投 保 的 进 口 预 付 款 保 险 保 费 , 按 照 8 0 % 比 例 给 予 支 持 。 鼓 励 口 岸 运 营 主 体 为 防 疫 物 资 通 关 免 收 机 场 服 务 费 用 、 减 免 防 疫 物 资 仓 储 租 金 , 鼓 励 口 岸 经 营 企 业 为 防 疫 物 资 通 关 开 设 绿 色 通 道 、 提 供 免 费 清 关 服 务 。 与 海 关 、 边 检 、 机 场 集 团 等 密 切 协 作 , 落 实 口 岸 防 疫 措 施 , 完 善 信 息 通 报 、 重 点 人 员 处 置 、 口 岸 现 场 和 交 通 工 具 等 联 防 联 控 机 制 。 二 、 多 渠 道 缓 解 企 业 经 营 压 力 5 . 对 受 疫 情 影 响 严 重 或 在 疫 情 防 控 工 作 中 保 障 市 民 基 本 生 活 的 重 点 连 锁 餐 饮 ( 早 餐 ) 、 菜 店 ( 生 鲜 超 市 ) 、 便 利 店 等 企 业 新 建 连 锁 直 营 网 点 设 立 项 目 , 对 其 房 屋 租 金 、 店 面 装 修 、 设 备 购 置 等 费 用 给 予 支 持 , 支 持 比 例 上 限 由 原 5 0 % 提 高 至 7 0 % 。 鼓 励 网 络 餐 饮 服 务 平 台 设 立 产 业 扶 持 基 金 或 降 低 服 务 费 用 标 准 。 6 . 对 于 因 疫 情 影 响 暂 停 举 办 的 展 会 项 目 , 如 年 内 继 续 在 京 举 办 且 参 展 中 小 微 企 业 数 量 超 过 参 展 企 业 总 数 5 0 % 的 , 按 照 不 超 过 实 际 缴 纳 场 租 费 用 5 0 % 的 标 准 给 予 支 持 , 补 助 金 额 不 超 过 5 0 万 元 。 7 . 发 挥 外 经 贸 发 展 专 项 资 金 作 用 , 对 年 度 计 划 获 得 批 复 但 受 疫 情 影 响 未 能 如 期 参 加 国 际 性 展 会 的 企 业 , 对 已 付 展 位 费 、 大 型 展 品 回 运 费 给 予 5 0 % 的 支 持 ; 同 等 条 件 下 , 对 拓 展 新 兴 市 场 的 支 持 比 例 可 提 高 到 7 0 % 。 8 . 鼓 励 传 统 商 场 “ 一 店 一 策 ” 试 点 企 业 加 快 升 级 改 造 进 度 , 争 取 早 日 完 成 。 对 传 统 商 场 的 升 级 改 造 项 目 参 照 “ 绿 色 通 道 ” 审 批 制 度 执 行 。 对 传 统 商 场 升 级 改 造 过 程 中 发 生 的 投 资 进 行 贷 款 贴 息 支 持 。 协 调 金 融 机 构 , 帮 助 坚 持 营 业 的 大 型 商 场 争 取 流 动 资 金 贷 款 。 推 动 各 区 进 行 商 圈 改 造 , 鼓 励 各 商 圈 进 行 公 共 区 域 环 境 优 化 , 支 持 商 圈 内 的 商 业 服 务 业 企 业 改 造 升 级 。 9 . 推 动 减 免 企 业 房 租 。 鼓 励 大 型 商 务 楼 宇 、 商 场 、 特 色 消 费 街 区 、 市 场 运 营 方 等 对 实 体 经 营 的 中 小 微 承 租 企 业 适 度 减 免 疫 情 期 间 的 租 金 。 对 采 取 减 免 租 金 措 施 的 租 赁 企 业 , 各 区 商 务 部 门 积 极 推 动 给 予 适 度 财 政 补 贴 。 对 符 合 条 件 的 便 民 设 施 、 超 市 等 商 贸 流 通 企 业 , 推 送 纳 入 国 资 系 统 房 租 减 免 范 畴 , 相 应 免 收 2 月 份 房 租 或 给 予 2 月 份 租 金 5 0 % 的 减 免 。 号 召 市 属 、 区 属 国 有 企 业 参 照 对 中 小 微 承 租 企 业 减 免 房 租 的 政 策 , 对 承 租 物 业 的 大 型 商 场 免 收 2 月 份 房 租 。 1 0 . 搭 建 跨 行 业 员 工 共 享 平 台 。 市 、 区 商 务 部 门 和 相 关 协 会 搭 建 对 接 平 台 , 鼓 励 组 建 企 业 “ 互 助 联 盟 ” , 引 导 、 支 持 部 分 商 超 与 餐 饮 等 企 业 通 过 “ 共 享 员 工 ” 等 方 式 稳 定 就 业 , 解 决 用 工 难 与 复 工 难 并 存 问 题 。 三 、 推 动 加 大 金 融 支 持 力 度 1 1 . 引 导 金 融 机 构 加 大 信 贷 支 持 力 度 。 对 在 疫 情 防 控 工 作 中 保 障 群 众 生 活 的 连 锁 商 超 等 企 业 以 及 受 疫 情 影 响 较 大 的 会 展 、 餐 饮 等 行 业 , 协 调 对 接 金 融 机 构 提 供 差 异 化 优 惠 的 金 融 服 务 。 对 因 疫 情 影 响 经 营 暂 时 出 现 困 难 但 有 发 展 前 景 的 企 业 , 协 调 金 融 机 构 不 抽 贷 、 不 断 贷 、 不 压 贷 , 对 其 中 到 期 还 款 困 难 的 予 以 展 期 或 续 贷 。 1 2 . 降 低 商 业 企 业 融 资 担 保 费 率 。 发 挥 “ 北 京 市 生 活 性 服 务 业 及 商 贸 流 通 企 业 担 保 平 台 ” 引 导 作 用 , 对 疫 情 期 间 提 供 生 活 服 务 保 障 的 商 贸 流 通 企 业 , 担 保 费 率 降 至 1 . 5 % 以 下 。 北 京 生 活 性 服 务 业 发 展 基 金 优 先 向 具 备 条 件 的 连 锁 超 市 、 便 利 店 、 菜 店 等 零 售 企 业 倾 斜 。 1 3 . 优 化 外 贸 企 业 金 融 服 务 。 拓 展 外 经 贸 担 保 资 金 支 持 方 式 , 探 索 推 广 订 单 融 资 模 式 ; 对 企 业 利 用 出 口 信 用 保 险 保 单 质 押 项 下 的 贸 易 融 资 和 通 过 外 经 贸 担 保 服 务 平 台 融 资 在 限 额 范 围 内 贴 息 5 0 % , 降 低 中 小 外 贸 企 业 融 资 成 本 。 推 动 出 口 信 用 保 险 公 司 为 外 贸 综 合 服 务 企 业 提 供 定 制 服 务 方 案 。 四 、 鼓 励 扩 大 优 质 消 费 供 给 1 4 . 挖 掘 网 络 零 售 发 展 潜 力 。 研 究 制 定 促 进 “ 互 联 网 + 流 通 ” 和 跨 境 电 子 商 务 发 展 的 支 持 措 施 , 鼓 励 企 业 拓 展 网 络 营 销 渠 道 , 扩 大 网 络 消 费 服 务 规 模 。 加 快 发 展 跨 境 电 商 体 验 消 费 新 模 式 , 扩 大 海 外 消 费 品 供 给 。 1 5 . 鼓 励 模 式 业 态 创 新 。 鼓 励 电 子 商 务 、 快 递 等 企 业 与 超 市 、 便 利 店 、 社 区 商 业 中 心 、 商 务 楼 宇 和 小 区 物 业 等 合 作 , 开 展 末 端 共 同 配 送 服 务 新 模 式 试 点 。 加 强 部 门 协 调 , 引 导 电 子 商 务 、 快 递 、 外 卖 等 企 业 探 索 开 展 “ 无 直 接 接 触 配 送 ” 服 务 , 使 用 智 能 快 件 箱 、 指 定 设 施 空 间 等 末 端 设 施 , 推 广 定 点 收 寄 、 预 约 送 餐 等 模 式 。 鼓 励 具 备 条 件 和 资 质 的 餐 饮 企 业 增 加 打 包 服 务 , 与 电 子 商 务 平 台 、 外 卖 平 台 合 作 , 提 供 网 上 订 餐 + 线 下 送 餐 服 务 。 鼓 励 大 型 连 锁 企 业 运 用 自 助 收 银 、 刷 脸 支 付 等 新 技 术 , 提 升 门 店 数 字 化 水 平 。 鼓 励 前 置 仓 、 无 人 超 市 ( 便 利 店 ) 等 新 兴 业 态 发 展 。 1 6 . 统 筹 国 内 国 际 两 个 市 场 , 丰 富 消 费 品 市 场 供 给 。 扩 大 消 费 品 进 口 , 提 升 消 费 品 进 口 便 利 , 拉 动 境 外 消 费 回 流 。 推 进 跨 境 电 商 进 口 医 药 产 品 试 点 工 作 。 推 动 在 首 都 国 际 机 场 口 岸 开 展 汽 车 平 行 进 口 。 鼓 励 出 口 企 业 利 用 电 子 商 务 平 台 开 展 内 销 。 五 、 积 极 营 造 良 好 发 展 环 境 1 7 . 加 快 制 定 推 出 促 消 费 政 策 。 制 定 推 出 2 0 2 0 年 促 进 消 费 提 档 升 级 工 作 措 施 。 研 究 制 定 北 京 冬 奥 会 消 费 服 务 一 揽 子 措 施 。 制 定 进 一 步 促 进 社 区 商 业 发 展 的 政 策 措 施 。 鼓 励 节 能 减 排 商 品 销 售 企 业 在 疫 情 期 间 正 常 营 业 。 配 合 有 关 部 门 抓 紧 制 定 高 排 放 汽 车 提 前 淘 汰 更 新 鼓 励 政 策 。 1 8 . 强 化 扩 大 对 外 开 放 政 策 支 持 。 汇 总 企 业 有 关 “ 稳 增 长 促 防 疫 ” 政 策 诉 求 , 统 筹 协 调 有 关 部 门 积 极 争 取 政 策 突 破 , 打 通 企 业 发 展 瓶 颈 。 加 快 推 进 简 化 境 外 投 资 备 案 程 序 , 推 动 数 据 共 享 , 力 争 使 “ 减 少 企 业 跑 动 次 数 ” 为 “ 零 跑 动 ” 。 鼓 励 支 持 服 务 外 包 企 业 在 境 外 设 点 , 缓 解 企 业 海 外 交 付 等 困 难 。 指 导 符 合 条 件 的 服 务 外 包 企 业 向 属 地 人 力 资 源 社 会 保 障 部 门 申 请 实 行 特 殊 工 时 制 度 。 1 9 . 完 善 外 商 投 资 服 务 体 系 。 全 面 落 实 《 外 商 投 资 法 》 及 配 套 法 规 , 优 化 投 资 促 进 、 保 护 和 管 理 服 务 。 依 托 企 业 登 记 系 统 以 及 企 业 信 用 信 息 公 示 系 统 , 实 现 外 商 投 资 信 息 自 动 推 送 共 享 , 外 资 企 业 无 需 单 独 报 送 。 落 实 外 商 投 资 企 业 投 诉 工 作 管 理 办 法 , 加 大 投 诉 工 作 协 调 力 度 , 维 护 外 商 投 资 合 法 权 益 。 加 强 外 资 项 目 跟 踪 机 制 、 协 调 机 制 和 绿 色 通 道 等 机 制 , 做 好 外 资 大 项 目 服 务 保 障 。 加 强 与 外 资 企 业 及 商 协 会 的 联 系 服 务 , 坚 定 外 商 投 资 者 的 预 期 和 信 心 。 2 0 . 优 化 总 部 经 济 发 展 环 境 。 加 快 研 究 完 善 鼓 励 总 部 经 济 发 展 政 策 , 统 筹 整 合 政 策 服 务 资 源 , 针 对 国 企 、 外 企 、 民 企 等 在 京 总 部 企 业 具 体 需 求 , 加 强 精 准 支 持 。 优 化 总 部 企 业 认 定 标 准 , 研 究 制 定 总 部 企 业 研 发 中 心 认 定 办 法 , 吸 引 符 合 首 都 城 市 战 略 定 位 的 总 部 企 业 、 研 发 中 心 落 户 。 2 1 . 推 动 商 务 服 务 业 高 质 量 发 展 。 统 筹 建 立 全 市 商 务 服 务 业 促 进 体 系 , 建 立 定 期 调 度 、 重 点 联 系 企 业 等 工 作 机 制 。 制 定 实 施 促 进 商 务 咨 询 服 务 发 展 的 措 施 , 聚 焦 会 计 、 法 律 、 管 理 咨 询 、 广 告 和 人 力 资 源 服 务 等 领 域 , 进 一 步 提 升 专 业 服 务 品 质 。 制 定 导 向 性 政 策 , 优 化 资 金 支 持 方 向 , 引 进 优 质 商 务 服 务 业 增 量 。 六 、 强 化 企 业 服 务 保 障 2 2 . 深 化 “ 不 见 面 ” 审 批 服 务 。 在 北 京 国 际 贸 易 “ 单 一 窗 口 ” 平 台 开 通 海 外 物 资 捐 赠 系 统 , 捐 赠 物 资 免 费 清 关 、 便 捷 通 关 。 鼓 励 企 业 在 线 申 领 更 新 进 出 口 许 可 证 电 子 钥 匙 , 商 务 部 门 接 件 即 办 , 并 提 供 邮 寄 服 务 。 简 化 进 出 口 许 可 证 无 纸 化 申 领 材 料 。 推 动 有 关 进 出 口 商 会 为 企 业 出 具 不 可 抗 力 事 实 性 证 明 。 技 术 进 出 口 企 业 、 服 务 外 包 企 业 可 通 过 线 上 申 报 、 网 上 传 输 材 料 等 形 式 完 成 相 关 合 同 备 案 登 记 。 2 3 . 提 升 口 岸 通 关 便 利 化 。 推 进 北 京 “ 双 枢 纽 ” 航 空 货 运 保 障 体 系 建 设 , 完 善 基 础 设 施 建 设 , 培 育 特 色 航 空 物 流 , 增 强 口 岸 保 障 能 力 。 围 绕 简 单 证 、 优 流 程 、 提 时 效 、 降 费 用 , 持 续 提 升 口 岸 监 管 和 服 务 水 平 , 打 造 阳 光 价 格 、 阳 光 服 务 、 阳 关 效 率 “ 三 阳 ” 模 式 , 营 造 更 加 公 开 透 明 、 更 加 稳 定 、 更 具 便 利 的 跨 境 贸 易 营 商 环 境 。 2 4 . 做 好 企 业 “ 服 务 管 家 ” 。 密 切 联 系 和 服 务 企 业 , 协 调 解 决 企 业 在 疫 情 防 控 期 间 遇 到 的 困 难 和 问 题 。 为 疫 情 期 间 参 与 生 活 必 需 品 等 重 要 物 资 保 障 供 应 的 企 业 做 好 服 务 。 加 强 对 商 务 领 域 人 力 资 源 密 集 型 企 业 的 疫 情 防 控 指 导 。 结 合 服 务 贸 易 企 业 特 点 , 在 企 业 用 工 、 租 房 等 方 面 给 予 支 持 。 加 强 服 务 业 扩 大 开 放 试 点 项 目 调 度 和 服 务 , 统 筹 协 调 共 性 问 题 集 中 的 项 目 。 2 5 . 鼓 励 行 业 协 会 主 动 服 务 企 业 。 号 召 行 业 企 业 和 从 业 人 员 切 实 做 好 疫 情 防 控 工 作 , 向 企 业 一 线 员 工 普 及 传 播 防 控 知 识 , 减 缓 企 业 员 工 和 消 费 者 心 理 压 力 。 了 解 掌 握 企 业 现 状 及 诉 求 , 搭 建 政 府 与 企 业 的 沟 通 桥 梁 。 倡 导 行 业 间 互 援 互 助 , 引 导 跨 行 业 按 需 对 接 , 帮 助 企 业 携 手 共 渡 难 关 。 挖 掘 行 业 先 进 典 型 , 宣 传 疫 情 防 控 期 间 表 现 突 出 的 企 业 和 个 人 。 国 家 、 北 京 市 的 其 他 相 关 支 持 政 策 措 施 , 遵 照 执 行 。 特 此 通 知 。 附 件 : 有 关 政 策 事 项 的 适 用 范 围 及 办 理 流 程", "qas": [ { "answers": [ { "answer_start": 1558, "text": "如 年 内 继 续 在 京 举 办 且 参 展 中 小 微 企 业 数 量 超 过 参 展 企 业 总 数 5 0 % 的 , 按 照 不 超 过 实 际 缴 纳 场 租 费 用 5 0 % 的 标 准 给 予 支 持 , 补 助 金 额 不 超 过 5 0 万 元 。 " } ], "question": "北 京 市 对 于 因 疫 情 影 响 暂 停 举 办 的 展 会 项 目 有 何 支 持 政 策 ?", "id": "17f3894afaba3f24a3ccd550fe442177", "is_impossible": false } ] } ] }, …………

Steffy-zxf commented 4 years ago

你好!SQuAD类型的数据集格式较为特殊,直接继承BaseNLPDataset类的话,需要重写readfile接口

类似SQuAD的数据集可以继承SQUAD类,需要按照下面的方式写构造函数init

from paddlehub.dataset.squad import SQUAD

class DemoSQAUD(SQUAD):
    def __init__(self):
        # 数据集存放地址
        self.dataset_dir = "path/to/dataset"

        super(DemoSQUAD, self).__init__(
            base_path=self.dataset_dir,
            train_file="train.json",
            dev_file="dev.json"
            test_file="test.json")

同时,想了解下,你们想完成一个什么样的阅读理解任务呢?任务背景是什么样的呢?

如果加载自定义阅读理解类数据还有问题的话,我们可以通过邮件/微信/QQ等通讯工具联系。

SDUwn commented 4 years ago

https://www.datafountain.cn/competitions/424 一个比赛,任务背景网址如上。

------------------ 原始邮件 ------------------ 发件人: "Steffy-zxf"<notifications@github.com>; 发送时间: 2020年3月23日(星期一) 晚上7:33 收件人: "PaddlePaddle/PaddleHub"<PaddleHub@noreply.github.com>; 抄送: "王娜"<1469228948@qq.com>; "Author"<author@noreply.github.com>; 主题: Re: [PaddlePaddle/PaddleHub] 在ai studio上进行自定义数据的SQUAD型阅读理解,报错Exception: the train file: train.json only has one column but it is not a predict file,请问怎么改 (#471)

你好!SQuAD类型的数据集格式较为特殊,直接继承BaseNLPDataset类的话,需要重写readfile接口

类似SQuAD的数据集可以继承SQUAD类,需要按照下面的方式写构造函数init from paddlehub.dataset.squad as SQUAD class DemoSQAUD(SQUAD): def init(self): # 数据集存放地址 self.dataset_dir = "path/to/dataset" super(DemoSQAUD, self).init( base_path=self.dataset_dir, train_file="train.tsv", dev_file="dev.tsv", test_file="test.tsv")

同时,想了解下,你们想完成一个什么样的阅读理解任务呢?任务背景是什么样的呢?

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

SDUwn commented 4 years ago

请问如下错误该怎么解决(用官方的SQUAD数据的demo也这样子报错:ValueError: The target variable must have an associated operator that generates it.)

[2020-03-23 21:33:09,441] [ EVAL] - [dev dataset evaluation result] loss=0.71986 f1=38.16722 exact_match=9.90991 [step/sec: 13.35] [2020-03-23 21:33:09,441] [ EVAL] - best model saved to ckpt_20200323212302/best_model [best f1=38.16722] Traceback (most recent call last): File "reading_comprehension.py", line 453, in reading_comprehension_task.finetune_and_eval() File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 863, in finetune_and_eval return self.finetune(do_eval=True) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 884, in finetune run_states = self._run(do_eval=do_eval) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 1097, in _run self._eval_interval_event() File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 630, in hook_function func(args) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 782, in _default_eval_interval_event self.eval(phase="dev") File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 922, in eval self._eval_end_event(run_states) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 630, in hook_function func(args) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 753, in _default_eval_end_event self.save_inference_model(dirname=model_saved_dir) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddlehub/finetune/task/base_task.py", line 860, in save_inference_model params_filename=params_filename) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddle/fluid/io.py", line 1218, in save_inference_model feeded_var_names=feeded_var_names, targets=target_vars) File "/opt/conda/envs/python27-paddle120-env/lib/python2.7/site-packages/paddle/fluid/framework.py", line 4122, in _prune_with_input "The target variable must have an " ValueError: The target variable must have an associated operator that generates it.