[Data] train/valid context에 대해 질문 증강

[lectura7942]

Background

• 생성모델을 이용해서 각 train/valid context에 대해 질문 생성
• DensePhrases 논문에 나온 증강 방법 사용

To Do

• [ ] 생성 모델에 넣을 답 데이터 제작
• [ ] 생성 모델 학습
• [ ] 데이터 증강
• [ ] 실험

See Also

-

[lectura7942]

• 생성모델: skt/kogpt2-base-v2 를 train/valid에 파인튜닝
  • 학습 데이터 형식:

    텍스트[answer_start:] + HL_TOK + 답 + HL_TOK + 텍스트[answer_end:] + A_TOK + 답 + Q_TOK + 질문

  • 성능 향상 필요. 학습 데이터 형식과 학습 파라미터를 조정 예정
• 학습한 생성모델에 넣을 답 데이터를 제작 중
  • nltk와 konlpy(mecab)으로 개체명 또는 구문을 추출해서 답으로 사용