andreask7 / lwt

Learning with Texts (LWT) is a tool for Language Learning. The official version (not this one) is available at :
http://lwt.sf.net
Other
33 stars 7 forks source link

Chinese parsing/splitting text seems broken (default settings) #25

Closed ghost closed 7 years ago

ghost commented 8 years ago

steps to reproduce:

  1. set chinese up with default settings and make each charachter word = no
  2. create a new text
  3. input :
刘江 : 欢迎您 继续 收听 SBS 广播电台 今天 早上 的 生活 杂志 , 接下来 我们 接通 了 我们 的 特约记者 Lina 的 电话,Lina 你好 。
Lina: 诶 , 刘老师 您好 , 听众 朋友 们 大家 好 。
刘江 : 最近 你 说 听到 了 一件 事情 , 这件 事情 呢 让 你 特别 有 感触 , 就 想 跟 大家 分享 。
Lina: 我 也 是 辗转 听来 的 , 是 一位 澳洲 的 这个 华人 网友 , 他 呢 通过 这个 微信 , 我们 知道 这个 微信 有个 朋友圈 , 英文 呢 叫 moments, 他 通过 这个 朋友圈 呢 认识 了 朋友 的 朋友 , 然后 呢 购买 了 黄金海岸 主题公园 的 套票 , 那 因为 那个 价格 呢 , 非常 的 有 竞争力 , 所以 , 这个 一传十 十传百 , 很多 人 , 尤其 是 住 在 布里斯班 的 华人 朋友 们 , 纷纷 地 就是 购买 , 想着 节假日 可以 带 着 家人 孩子 去 玩 , 但是 当 他们 前往 主题公园 的 时候 却 被 拦 在 了 门口 , 因为 呢 他们 被 告知 , 门票 呢 是 通过 盗用 信用卡 购买 的 , 已经 被 视为 废票 了 。
  1. open the text

result: "Lina:" and ",Lina" are recognized as chinese words. should be ignored.