Subcharacter Information in Japanese Embeddings: When Is It Worth It?

shunk031 / paper-survey

📚 Survey of previous research and related works on machine learning (especially Deep Learning) in Japanese

https://shunk031.github.io/paper-survey/

151 stars 12 forks source link

Closed shunk031 closed 5 years ago

shunk031 commented 5 years ago

shunk031 commented 5 years ago

漢字が有する部首を分解し、サブキャラクターとして扱った際の言語タスクにおける性能を、新たに提案するデータセットであるjBATSも含めて調査を行った。中国語で効果のあるサブキャラクターが日本語においては限定的であり、多くの場合文字レベルngramや文字レベルモデルが良い性能を示している。