Tokenizer周りについて

[keisks]

（次回以降のプロジェクトで実施したい？）

【今後Tokenizerを自分たちで学習する場合について小島さんとのディスカッション】

• sample from diverse corpora
• train sentencepiece
  • Sentencepieceにはbyte_fallbackオプションがあるので大丈夫そうです。(https://github.com/google/sentencepiece/issues/621#issuecomment-777269803)