Feat: main.py에 end-to-end evaluation 추가하겠습니다.

[Now100]

Why we do

• 현재 main.py에서 evaluation을 진행하게 되면 Reader 모델 단독으로만 evaluation이 진행됩니다.

What we do

• predict와 같이 Retriever로 passage를 불러와 MRC 성능 체크하도록 케이스 추가하겠습니다.

What we gain

• retriever-reader 모델의 전반적 평가 가능

[rasauq1122]

혹시 이거 --do_retrieval 이런 옵션으로 넣을 때만 retriever를 함께 사용하여 측정하도록 해주실 수 있을까요? 따로따로 성능을 확인해야 할 수도 있을 것 같아서요.

[rasauq1122]

--do_retrieval -> retrieval만 평가 --do_mrc -> reader만 평가 --do_both (아니면 --do_retrieval --do_mrc 동시에 적용) -> 둘 다 평가

이런 식으로 하면 더 실험 편의성이 좋아질 것 같습니당

[Now100]

알겠습니다~