[Data] 새로운 Special Token 도입

[dbsrlskfdk]

현재

• BaseLine Code는 Data Preprocessing이 기초적인 상태

  [Subject Word] + [SEP] + [Object Word] + [SEP] + [Sentence]

Try

1. Subject Word와 Object Word 의 시작과 끝에 Special Token 추가

   • [SE] : Subject Entity 시작
   • [/SE] : Subject Entity 끝
   • [OE] : Object Entity 시작
   • [/OE] : Object Entity 끝

2. Subject Word와 Object Word 를 아래와 같이 Typed Entity Marker Punctuation 형태로 수정

   • subj : @*subj_type*@
   • obj : #∧obj_type∧#

기대효과

• 단어로써 연관지어 지는 것보다, Subject Entity와 Object Entity의 위치정보를 추가적으로 임베딩하여, 정확도가 더 상승할 것으로 기대

[dbsrlskfdk]

1. Entitiy Marker 실험 생각보다 Overfitting이 심함.

Batch_size 16이나 32 모두 Overfitting 이 조금 빨리부터 일어남. EDA결과는 공유하겠지만, Label갯수 차이가 아주 심해서 그런 것 같기도..