第８章 BERTjapaneseTokenizer以外を使う場合について

[abebe9849]

NER_tokenizer_BIOをmLUKETokenizerやT5Tokenizerを使った日本語言語モデルでも使用したいと思っているのですが、うまく言っていません。どうすれば適切に修正、使用ができるのでしょうか？

お忙しいところ恐縮ですがご教授いただけると幸甚です。