训练语料问题

[liuyijiang1994]

您好，看了您的工作后对您的工作非常感兴趣，于是学习了您的代码，下载完您提供的Clean-SogouT.txt后，发现里面没有标点符号，且有大量的 “一”，请问这是正常的嘛？ 如： 一 法定 假日 期间 的 业务 受理 情况 请 咨询 中国银行 的 代销 网点 一 一 不错 亮 了 几 个 一 不 不 做 自己 不 擅长 的 事情 一 两 得 一 只能 和 中 的 一个 即 一个 二 进 制位 或 存储 一个 二 进 制数 位 的 单位 一 假期 当然 也 不 例外 一 儿童节 一 儿童节 期间 作为 辽博 的 小 讲解员 接待 小 观众 欢迎 青少年 朋友 们 不要 错过 这 难得 的 展示 和 锻炼 自我 的 机会 一 前 前夕 五 年级 一 班 学生 刘小华 因 患 感冒 请假 一 一 相得益彰 使 招聘 单位 能 迅速 地 获取 信息 一 劳动 奖章 被 评为 全国 劳动模范 一 十几 名 玩家 回城 一 去 哪 到 旅顺 看 樱花 一 扫荡 战争 爆发 时 日本 略者 向 国民党 蒋介石 加紧 了 政治 诱降 回师 后方 集中 兵力 向 冀中军 民 进行 了 灭绝人性 的 扫荡 一 后 有望 诞生 新 的 涨停牛股 一 向 山东 艺术 学院 捐赠 四十 幅 书画 作品 一 吗 一 喂 就 一个 小时 一 国内 游 价格 上涨 的 重要 原因 一 国际 儿童节 到来之际 给 灾区 儿童 献 上 一 份 礼物 一 国际 儿童节 是 一个 阳光 灿烂 的 日子 一个 令 许多 少年儿童 欢欣 快乐 的 节日 一 大型 装修 特惠 活动 一 大 逮捕 中 被捕 狱中 积极 帮助 难友 暗地 写作 被 发觉 而 遭 虐待 始终 忠贞不 屈 理论 修养 甚 深 难友 们 都 敬佩 他 一 左右 搬家 一 庆祝会 上 你 精彩 的 表演 一 惨案 的 责任 推 得 一干二净 但是 七日 的 新 民报 说 学生 罢课 反对 内战 当地 军警 出动 镇压 在 这 情形 中 谁 是 谁非 几乎 不 待 判断 看 昆明 学潮 惨案 受害 的 却 是 赤手空拳 的 学生 他们 既 无武器 更 非 军队 而 竟 受到 武力 的 攻击 一 掉 渣 女生 一 明显 减少 链接 广场 五一 看 楼 现场 调查 一些 时段 还 出现 楼盘派 单员 比 行人 还 多 的 现象 一 是 一 条 运河 芜申 运河 工程 是 国际 儿童节 对于 有 父母 的 孩子 来说 是 一个 即 快乐 又 幸福 的 日子 孩子 们 可以 根据 自己 的 喜爱 在 父母 的 陪同 下 去 买 一 身 漂亮 的 衣服 去 玩 自己 想 玩 的 游戏 过 自己 的 节日 一 是 指 学生 儿童 住院 所 产生 的 医疗 费用 包括 急诊 抢救 留观 并 收入 住院 治疗 的 其 住院 前 留观 内 的 医疗 费用 一 晚会 中秋 晚会 等 活动 丰富 员工 的 娱乐 生活 一 期间 将 会 举办 主题 为 欢聚 缤纷派 的 亲子 活动 来宾 不仅 可以 享受 西餐厅 大 厨即场 烹饪 的 美食 还 可以 参与 以 家庭 为 单位 的 竞赛 游戏 享尽 天伦之乐 一 期间 一汽 广州 品牌 体验 中心 还 筹划 了 精彩 有趣 的 车主 活动 为 苦于 长假 变 不知 如何 安排 的 车主 们 提供 了 一个 不错 的 选择 一 期间 开始 执行 凡 于 此 期间 在 即 送 车 行 无 忧 定位 系统 买 车险 还 可 享受 买 一 送 一 优惠 对于 有 购车 计划 的 顾客 来说 正是 出手 良机 一 期间 销售额 为 二十八点四七亿 元 比 去年 同期 增长 百分之八十七点七四 一 滑雪场 就 建 在 这里 一 的 原则 竭诚 为 消费者 服务 一

[heyLinsir]

这个是正常的。

[liuyijiang1994]

谢谢您及时的解答！