🐛 Bug ['KoBertTokenizer' object has no attribute 'token2idx']

[khk37601]

안녕하세요 해당 문제가 발생하여 문의를 남깁니다. [실행 툴] CoLab [패키지] python == 3.10 transformers == 4.35.0 seqeval == 0.0.13 torch == 2.1.0+cu118

[원인] model_type 옵션을 kobert 인 경우 get_vocab() 함수에서 self.token2idx 멤버변수를 찾지 못하는 오류가 있습니다.

• transformers에서 import한 Tokenizer는 잘 작동하고 있습니다.

[khk37601]

[branch] /dependabot/pip/transformers-4.30.0

[해결] transformers 버전을 4.35.0 => 4.30.0으로 낮추면서 문제를 해결 했습니다😀