Add Reader Core & Make new_run.py

[KimDaeUng]

5 Reader Core module 추가

• Reader 에 대한 추상화 작업을 진행하였습니다.

• -Reader: 학습 전반을 관리, 기존 run.py의 run_mrc 함수의 역할을 모듈화하였습니다. Trainer 객체와 -ReaderModel을 포함합니다.

• Unittest 완료 목록

• [x] Abstract class : ReaderBase

  • [x] ExtractiveReader : ExtractiveReaderBaselineModel과 QuestionAnsweringTrainer로 구성되어 run_mrc 함수의 기능을 수행합니다.
  • [x] GenerativeReader : GenerativeReaderModel과 Seq2SeqQuestionAnsweringTrainer로 구성되어 run_mrc 함수의 기능을 수행합니다.

• [x] Abstract class : ReaderModelBase

  • [x] ExtractiveReaderModel : Extraction-based MRC 계열 모델의 base class입니다.
  • [x] ExtractiveReaderBaselineModel : AutoModelForQuestionAnswering과 동일하나, Head Layer의 변형이 쉽도록 커스텀으로 작성하였습니다.
  • [x] ExtractiveMLPModel : TODO 이름 통일 -> ExtractiveMLP, ExtractiveReaderBaselineModel의 Head Layer 변형모델의 예시입니다. CNN Head 모델 작성은 해당 모델을 참고하시면 됩니다.
  • [x] GenerativeReaderModel : Generation-based MRC 계열 모델의 base class입니다.

6 Trainer 객체 추가

• Reader 객체와의 통합 및 확장성을 고려하여 간단한 추상화 작업을 진행하였습니다.
• Trainer
  • [x] QuestionAnsweringTrainer : ExtractiveReader에 적용됨
  • [x] Seq2SeqQuestionAnsweringTrainer : GenerativeReader에 적용됨

4 train.py, inference.py 통합, new_run.py

• 위의 변경사항을 바탕으로 Reader 모델의 train, evaluation, prediction을 하나의 파일에서 실행할 수 있도록 작성함
• Unittest 목록
  • [x] 학습만 돌리는 경우 (do_train=True, do_eval=False, do_predict=False)
  • [x] 학습 종료 후 평가하는 경우 (do_train=True, do_eval=True, do_predict=False)
  • [x] 1 epoch 마다 평가하는 경우 (do_train=True, do_eval=True,do_predict=False)
  • [x] Predict 만 수행하는 경우 (do_train=False, do_eval=False, do_predict=True)
  • [x] 학습, 평가, 제출파일 예측까지 수행하는 경우 (do_train=True, do_eval=True, do_predict=True)

TODO

• [ ] 명훈님 작업물과 통합
• [x] MRC 모델과 Retriever 모델의 학습 코드 및 arguments 정리
• [x] GenerativeReaderModel 개발
• [x] 코드 리팩터링
• [ ] DenseEncoder의 학습을 고려한 코드 확장성 개선 작업(e.g. argument 이름 등)

실행방법

• Extractive vs. Generative 선택 : ModelingArguments의 method, ext vs. gen
• Reader 모델 아키텍쳐 선택 및 등록 : ModelingArguments의 architectures 인자를 solution.reader.reader_models의 각 모델들의 이름으로 선택. 새로운 모델 Reader 모델 작성시 여기에 추가하며, READER_MODEL에도 등록

[참고] 실행 시나리오

• answer 존재 유무 : validation of train set / ~ of test_set

• context retrieval 유무 : eval_retrieval = True / False

  1. reader 모델의 성능 평가 : train_dataset['valid'], eval_retrieval = False
  2. reader와 retrieval 모델 조합의 성능 평가 : train_dataset['valid'], eval_retrieval = True
  3. submission 파일 생성 : test_dataset['valid'],eval_retrieval = True`