Fix 23/ODQA ver.2 - Githubissues

boostcampaitech7 / level2-mrc-nlp-06

level2-mrc-nlp-06 created by GitHub Classroom

3 stars 1 forks source link

Fix 23/ODQA ver.2 #25

Closed ocean010315 closed 1 week ago

ocean010315 commented 1 week ago

Overview

retrieval과 reader가 서로 다른 방식으로 전처리된 데이터셋을 사용할 수 있도록 inference 코드 수정

Change Log

기존의 develop의 reader를 거의 그대로 가져온 reader2
기존의 inference의 코드와 비슷하지만 서로 다른 버전의 데이터셋을 사용할 수 있도록 수정한 ODQA2

To Reviewer

reader2와 ODQA2는 기존의 reader나 ODQA와 겹치는 코드가 있긴 하지만 충돌은 없습니다.
./retrieval/sparse/src/sparse_retrieval에서 반환하는 형태가 context에서 document_id로 바뀌었기 때문에 develop에 머지할 수는 없을 것 같아 develop2로 PR 올렸습니다.

Issue Tags

23

minjijeong98 commented 1 week ago

좋습니다:) 결과가 기대되네요!

minjijeong98 commented 1 week ago

저도 한번 실행해보고싶은데, ODQA2/inference.ipynb 파일을 이용하면 되는건가요?

ocean010315 commented 1 week ago

저도 한번 실행해보고싶은데, ODQA2/inference.ipynb 파일을 이용하면 되는건가요?

헉 지금 확인했습니다.. ipynb 파일은 실수로 올린 거고 README 보시고 터미널로 실행하시면 됩니다! 추가로 reader는 학습을 반드시 해야 하지만, retriever는 학습하지 않아도 bm25.bin 파일이 생기도록 코드 작성해놨습니다.