複合語化処理時に単語の頻度を考慮する

[tokuhirom]

https://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/C4-3.pdf

にあるとおり、mozc では以下のように処理されている。

具体的には, 複合語化したい単語列を, 形態素列の正規表現パターン (複合語化ルール) を使って Web コーパスから抽出し, 頻度が一定のしきい値以上のものを複合語として辞書に登録する.

一方で、akaza-default-model では、とにかくパターンがマッチしたものを複合語化している。 この結果、複合語化しなければ unigram 言語モデルに登録されたものが、登録されなかったというケースが発生している。

[tokuhirom]

現在は

• wikiextractor
• vibrato でのトーカナイズ + 複合語化

というふうになっているが、今後は

• wikiextractor
• vibrato によるトーカナイズ
• 複合語化

というふうに、フェーズをわけたらどうか。

[tokuhirom]

実際にデータを眺めたところ、複雑さのわりにそこまでこの処理をすることのメリットが多くなさそうだという結論。 特に wikipedia はある程度文体が統一されているので、複合語化されるべきものはされていそうである。

[tokuhirom]

検討終わり。

[tokuhirom]

誰か実装したい人がいたらやってもらっても構わない、といった程度。