MODEL_WITH_LM_HEAD_MAPPING 오류

[ejpark78]

안녕하세요.

아래와 같이 MODEL_WITH_LM_HEAD_MAPPING 가 없다고 에러 나는데요. 어떻게 해야 하나요?

tf-docker ~/huggingface_konlpy > python examples/run_konlpy_bert.py \

--output_dir=output \
--overwrite_output_dir \
--model_type=bert \
--config_name=examples/bert_config.json \
--mlm \
--vocab_file=tutorials/tokenizers/BertStyleMecab/notag-vocab.txt \
--do_train \
--train_data_file=data/2020-07-29_covid_news_sents.txt \
--konlpy_name=mecab \
--learning_rate=1e-4 \
--num_train_epochs=3 \
--save_total_limit=2 \
--save_steps=2000 \
--block_size=512 \
--seed=42

Traceback (most recent call last): File "examples/run_konlpy_bert.py", line 29, in from transformers import ( ImportError: cannot import name 'MODEL_WITH_LM_HEAD_MAPPING'

[lovit]

@ejpark78 님, 제가 알기로는 MODEL_WITH_LM_HEAD_MAPPING 는 transformers >= 3.x 에서 이용하는 것으로 알고 있습니다. 아마 사용하시는 transformers 가 2.x 일듯 합니다. 버전 확인 한 번 해보시겠어요?

[ejpark78]

빠른 답변 감사합니다.

@ejpark78 님, 제가 알기로는 MODEL_WITH_LM_HEAD_MAPPING 는 transformers >= 3.x 에서 이용하는 것으로 알고 있습니다. 아마 사용하시는 transformers 가 2.x 일듯 합니다. 버전 확인 한 번 해보시겠어요?

버전을 확인해 보니 아래와 같이 3.0.2 가 정상적으로 설치되어 있습니다.

tf-docker ~ > pip3 freeze | grep transformers transformers==3.0.2

[ejpark78]

codelab 에서 해보니 잘되네요. 감사합니다~

https://github.com/ejpark78/codelab/blob/master/bert/huggingface_konlpy.ipynb

[lovit]

실행해보신 코드까지 공유해주셔서 감사합니다!