[Dev] postprocessing.py 수정

[uyeongjae]

모듈화 진행

postprocess_qa_predictions 내 기능들을 아래와 같이 모듈화 진행하였습니다. 해당 작업은 추후 기능 추가를 위함이며, 현재까지 추가된 기능은 없습니다. 그리고 사용되지 않는 parameter(version_2_with_negative, null_score_diff_threshold)와 관련 코드들은 제거하였습니다.

• get_all_logits
  • predictions과 features length에 대해 assertions을 체크한 후, start & end logtis([ndarray], [ndarray])을 리턴합니다.
• map_features_to_example
  • exmaple index에 feature indices를 맵핑하여, Dict(key : exmaples index, value : feature indices) 값으로 리턴합니다.
• get_candidate_preds
  • 한 exmaple에 맵핑된 features 중 n_best_size만큼의 prediction([List[Dict(key : (offset, score, start_logit, end_logit)])을 리턴합니다.
• get_example_prediction
  • 한 exmaple에서 나온 prediction으로부터 offset을 answer text로 변환 후, all_predictions[List[Dict(key : (score, start_logit, end_logit, text)], all_nbest_json에 prediction을 추가하여 리턴합니다.
• save_pred_json
  • output_dir에 prediction.json, nbest_predctions.json을 저장합니다.

추가 작업 요소

• retriever에서 나온 top k의 문서에 대한 postprocessing
• 정답 텍스트에 대한 형태소 분석 후처리

[uyeongjae]

Unit test

Unit test는 unit_test_postprocessing.ipynb 해당 노트북 파일 다운로드 후, mrc-level2-nlp-14에서 실행해주시면 됩니다!