Closed watanabe2362 closed 4 years ago
ご報告ありがとうございます。
問題の原因はshlexにあるみたいです。quoteされてない\
が消えてしまいます。パスがquoteされてないせいで他のエラーも起きたので、修正PRは既にtransformersの方でマージされていますがリリースはまだです。
https://github.com/huggingface/transformers/pull/7142
以上で起動できたらそれでも問題ありませんがPRの修正内容は下記です。これだとスペースのあるパスでも正しく処理されます。
mecab_option = '-d "{}" -r "{}" '.format(dic_dir, mecabrc) + mecab_option
修正PRは既にマージされたので一応クローズします。
Windows10、AnacondaでBERTを使用していたら、fugashiに代わっているようで下記のエラーとなった。
from sentence_transformers import SentenceTransformer from sentence_transformers import models transformer = models.BERT('cl-tohoku/bert-base-japanese-whole-word-masking') で
となった。
そこで、transformersパッケージのtokenization_bert_japanese.pyの252行目に mecabrc = os.path.join(dic_dir, "mecabrc") mecab_option = "-d {} -r {} ".format(dic_dir, mecabrc) + mecab_option mecab_option = mecab_option.replace('\','/') replaceを追加し、事無きを得たように見える。 修正はこれでよいのだろうか。