monologg / KoBERT-Transformers

KoBERT on 🤗 Huggingface Transformers 🤗 (with Bug Fixed)
Apache License 2.0
202 stars 45 forks source link

Colab 환경에서 KobertTokenizer 사용 시 AttributeError: token2idx 에러 #14

Closed devsosin closed 3 months ago

devsosin commented 3 months ago

부모클래스 생성자함수 super().init() 부분에서 get_vocab() 메서드를 호출하게 되는데, 이것이 초기화되어있지 않아 발생하는 오류가 있습니다.

image

사실 순서만 바꿔서 token2dix를 초기화한 뒤 부모클래스 생성자를 실행하면 해결됩니다.

image

간단하게 해결이 가능한 이슈이기도 하고, 테스트해보면 학습도 잘 되는것 같아요.

devsosin commented 3 months ago

사용이 급하신 분들은 #12 Pull Request의 tokenization_kobert.py 파일을 가져다가 사용하시면 됩니다.