위 이슈에서도 언급이 되었지만 Fairseq의 구현 방식으로 인해서 huggingface도 roberta tokenizer의 max_positional_embedding을 514로 뒀습니다. 현재 KLUE에서 공개된 모델은 512로 되어있어 사실상 tokenizer max length는 510이 되는건데, 혹시 이렇게 진행하게 된 이유가 있는지 궁금합니다!
논문에서 언급된 "All models take sequences of at most 512 tokens long each"랑 상충되는 부분이어서 여쭵보니다. 감사합니다.
Roberta Tokenizer 구현 관련해서 질문있습니다.
이슈 #67
위 이슈에서도 언급이 되었지만 Fairseq의 구현 방식으로 인해서 huggingface도 roberta tokenizer의 max_positional_embedding을 514로 뒀습니다. 현재 KLUE에서 공개된 모델은 512로 되어있어 사실상 tokenizer max length는 510이 되는건데, 혹시 이렇게 진행하게 된 이유가 있는지 궁금합니다!
논문에서 언급된 "All models take sequences of at most 512 tokens long each"랑 상충되는 부분이어서 여쭵보니다. 감사합니다.