boostcampaitech3 / level2-mrc-level2-nlp-04

level2-mrc-level2-nlp-04 created by GitHub Classroom
1 stars 3 forks source link

roberta 모델을 쓸 때 `return_token_type_ids` 를 False 로 해야 하는 이유 #5

Open jungsiroo opened 2 years ago

jungsiroo commented 2 years ago

image

위 사진을 보면 roberta 를 쓸 때는 False 로 해야한다는데 그 이유가 궁금합니다. 아는 팀원분들 있으면 댓글로 알려주세요~

hyoeun98 commented 2 years ago

https://huggingface.co/docs/transformers/model_doc/roberta RoBERTa doesn’t have token_type_ids, you don’t need to indicate which token belongs to which segment. Just separate your segments with the separation token tokenizer.sep_token

roberta 모델을 자세히 보지 않아서 모르겠지만 token_type_ids가 필요 없다고 하네요

jungsiroo commented 2 years ago

감사합니다!