model_tokenizer

[kojimano]

どのtokenizerを使うのか。

[losyer]

CACCのtokenize状況も調べてみます　=> #6

[losyer]

・自分達でtokenizerを作る ・自分達でコーパスをtokenizeする 方が良さそう。