search

textlint-ja / textlint-rule-max-ten

textlint rule that limit maxinum ten(、) count of sentence.
MIT License
10 stars 5 forks source link

Use tokenize instead of getTokenizer #16

Closed k-tahiro closed 2 years ago

k-tahiro commented 2 years ago

ルール間で形態素解析結果を使いまわせるようにtokenizeを使用するPRです。

azu commented 2 years ago

https://github.com/azu/kuromojin/blob/374bba24329507caa16c2e5b1cdc9e69c1062a76/src/kuromojin.ts#L75-L99 kuromojinの getTokenizer の方にもLRUキャッシュが効くように変更しちゃうのはどうですかね? getTokenizer でキャッシュ入れてないのはあんまり一貫性がない気がするので、入れてしまうのが楽なのかなーと思って。

k-tahiro commented 2 years ago

kuromoji.jsのTokenizerではなくて、kuromojinのTokenizerクラスを作って返す感じですかね。 kuromojinのgetTokenizerがどういった使われ方を想定しているのかを詳しく知っているわけではないですが、良いんじゃないかなと思います。

azu commented 2 years ago

kuromoji.jsのTokenizerではなくて、kuromojinのTokenizerクラスを作って返す感じですかね。

はい。

https://github.com/azu/kuromojin/blob/374bba24329507caa16c2e5b1cdc9e69c1062a76/src/kuromojin.ts#L9-L12 型的には2つのメソッド持つラッパーになってるので、ラッパー的なオブジェクトを返すとかで良いのかなーと思いました。

azu commented 2 years ago

別途Issueを作りました https://github.com/azu/kuromojin/issues/13

これ自体は問題ないため、マージしてしまいます。

azu commented 2 years ago

Released https://github.com/textlint-ja/textlint-rule-max-ten/releases/tag/v4.0.3