Combine Dataset

[sangmandu]

1. arguments.py

   • fold : bool 인자 추가

2. combine.py

   • project name과 run name을 인자로 입력해서 5-fold로 생긴 nbest_prediction 5개를 종합하는 파이썬 파일

3. utils_qa.py

   • check_no_error 에서 dataset에 대한 검사를 진행하는 부분을 run_mrc로 이동. (딱히 검사하지 않아도 되는 부분이라 현재는 주석처리로 되어있음)
   • project name을 중복으로 검사하기 때문에 이 부분 제거

4. inference.py

   • check_no_error의 변경에 따른 수정

5. train.py

   • wandb.init을 run_mrc에서 수행하게 함
   • 기존 get_data에서 수행되던 부분을 run_mrc로 이동
   • kfold 코드 구현
   • fold 인자가 입력될 때 inference가 5번 되도록 하고 combine.py가 수행되어 이 결과를 종합하도록 함

6. score.json이 저장되도록

7. 진명훈님 코드 적용

8. train시에 top k가 적용되면 inference시에 적용될 수 있도록 함.

9. make_combined_dataset 함수 추가

   • combined dataset을 처음에 생성합니다