そろそろ形態素解析を利用した構文解析ルールの導入もありかも

[kujirahand]

現状のなでしこは、リソースの限られた環境では、助詞を利用した強制単語分割ルールは、うまく動いています。 しかし、昨今、形態素解析の負荷もそれほど高くないので、形態素解析ルールを導入した、プログラミング言語も一考の価値ありです。 ただし、既存の助詞区切りルールと併用する方法もあり。

[kujirahand]

手法案:

1. 簡単な形態素解析器を作っておく。
2. IT用語の語彙定義データを用いて学習
3. 形態素(名詞|動詞|助詞くらい判別？)で区切った構文に対して構文解析を行う

---

プログラムの中で語彙登録を可能にしておく 語彙登録があれば、辞書を更新して、それを用いて形態素解析を行う 語彙登録がなければ、辞書更新を飛ばして標準辞書で形態素解析を行う

---

[kujirahand]

JSの形態素解析ライブラリ https://github.com/takuyaa/kuromoji.js なんてのもあるので、これを使うと、何もすることがなさそう。

動作速度の問題を考えたら、Rust+WebAssemblyでやるのも良さそう https://github.com/daac-tools/vibrato https://tech.legalforce.co.jp/entry/2022/09/20/133132

kuromoji/mecabベースのRustのライブラリがあった Lindera:

• https://qiita.com/mosuka/items/0fdaaf91f5530d427dc7
• https://crates.io/crates/lindera Goya:
• https://blog.leko.jp/post/goya-yet-another-japanese-morphological-analyzer/
• https://github.com/Leko/goya
• https://crates.io/crates/goya

ただし、辞書が数十メガになるので、サーバ側で形態素解析だけして、コンパイルはクライアントでという形もありかも。 あるいは、形態素解析辞書を限定されたものにするとか。 というか、形態素解析をサーバ側で行うなら、普通にMeCabでもなんでも使えるのかも。