boostcampaitech4lv23nlp1 / level2_klue_nlp-level2-nlp-01

level2_klue_nlp-level2-nlp-01 created by GitHub Classroom
3 stars 3 forks source link

feat: Add entity marker #19

Closed wooy0ng closed 1 year ago

wooy0ng commented 1 year ago

Entity marker 추가한 코드입니다.

self.special_tokens = [ '[ORG]', '[/ORG]', '[PER]', '[/PER]', '[POH]', '[/POH]', '[LOC]', '[/LOC]', '[DAT]', '[/DAT]', '[NOH]', '[/NOH]' ]

before : '1953년에는 테네시주 멤피스에서 활동하던 선 레코드 소속 프로듀서인 샘 필립스에 의해 가수로 데뷔했다.'

after : '1953년에는 테네시주 멤피스에서 활동하던 [ORG]선 레코드[/ORG] 소속 프로듀서인 [PER]샘 필립스[/PER]에 의해 가수로 데뷔했다.'