[Feature][Data] : Add Typed Entity Marker Punct.

boostcampaitech5 / level2_klue-nlp-04

level2_klue-nlp-04 created by GitHub Classroom

1 stars 0 forks source link

Closed dbsrlskfdk closed 1 year ago

dbsrlskfdk commented 1 year ago

tokenized_dataset 함수에 TEMP Processing 변경
후 가공 작업을 위해 preprocessing_dataset 함수 변경 close #1 - TEMP Processing 추가, Entity Marker 추가

dbsrlskfdk commented 1 year ago

아직 merge하지 말아주세요.. entity marker 은 tokenizer vocab 추가 코드가 더 필요합니다.