[FEAT] 데이터 분석 및 전처리

[minjijeong98]

Background

• ODQA 모델 학습에서 사용되는 데이터를 탐색합니다. 이를 통한 데이터에 대한 이해를 바탕으로 향후 모델링 및 데이터 증강을 수행합니다.
• 데이터의 특성을 반영하여 전처리 함수를 구현합니다. 이를 통해 모델의 context 이해 능력을 향상시킬 수 있습니다.

Todo

• [x] retrieval 데이터 분석 (wikipedia_documents.json)
• [x] reader 학습 및 검증 데이터 분석
• [x] 데이터 분석 노트북 파일 통합
• [x] 전처리 방식 논의
• [x] 전처리 함수 작성