sagawatatsuya
commented
2 months ago ご連絡いただきありがとうございます。
ご指摘のエラーについて、原因はREADMEに記載されていたライブラリのバージョンが古いためと考えられます。こちらでは以下のバージョンでの動作を確認しております。
python:3.11 pytorch:2.4.0 RDKit:2024.03.05 tokenizers:0.19.1 transformers:4.40.2
お手数ですが、ライブラリのバージョンを上記にアップデートして再度お試しいただけますでしょうか？よろしくお願いいたします。
kumagaitomotaka
task: Forwardのfine-tuningにおいて説明のある通り以下のコードを実行したところ、学習済みTransformarsの読み込みがうまく行きませんでした。 入力：
cd task_forward python finetune.py \ --epochs=5 \ --batch_size=32 \ --train_data_path='../data/demo_reaction_data.csv' \ --valid_data_path='../data/demo_reaction_data.csv'出力されたエラー:Traceback (most recent call last): File "finetune.py", line 185, in <module> tokenizer = AutoTokenizer.from_pretrained( File "/home/tkumagai/miniconda3/envs/RT5-38/lib/python3.8/site-packages/transformers/models/auto/tokenization_auto.py", line 591, in from_pretrained return tokenizer_class.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs) File "/home/tkumagai/miniconda3/envs/RT5-38/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 1805, in from_pretrained return cls._from_pretrained( File "/home/tkumagai/miniconda3/envs/RT5-38/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 1950, in _from_pretrained tokenizer = cls(*init_inputs, **init_kwargs) File "/home/tkumagai/miniconda3/envs/RT5-38/lib/python3.8/site-packages/transformers/models/t5/tokenization_t5_fast.py", line 134, in __init__ super().__init__( File "/home/tkumagai/miniconda3/envs/RT5-38/lib/python3.8/site-packages/transformers/tokenization_utils_fast.py", line 110, in __init__ fast_tokenizer = TokenizerFast.from_file(fast_tokenizer_file) Exception: data did not match any variant of untagged enum PyPreTokenizerTypeWrapper at line 1407 column 3環境は以下のようになります。python:3.8 pytorch:2.4.0 RDKit:2024.03.05 tokenizers:0.12.1 transformers:4.21.0 sentencepiece:0.1.96ご対応よろしくお願いいたします。