[FEAT] Sparse Retrieval 정리

[minjijeong98]

Overview

• sparse retrieval 코드를 전체적으로 정리하고, README를 작성했습니다.
• 기존과 구조는 거의 동일하며, doc-string과 주석을 추가해 코드 가독성을 높였습니다.
• 자세한 내용은 README.md를 참고해주세요

Change Log

• README.md 추가
• LearnedSparseRetrieval 클래스 추가
• 각 모델 별 config 예시 파일 별도 생성
  • config_tfidf.json
  • config_bm25.json
  • config_splade.json
  • config_bgem3.json
• evaluate 함수 이동: (기존) src/sparse_retrieval.py 파일 내 -> (변경) utils/utils_sparse_retrieval.py 파일 내
• sparse 폴더 전체적으로 주석 및 doc-string 추가
• retrieve() 함수 save 옵션 추가: Retrieve 된 문서가 원하는 경로에 CSV 파일로 저장되도록 설정할 수 있는 옵션 추가함
• ODQA/modules/sparseRetrieval.py: Mecab 형태소 분석기 사용할 수 있도록 옵션 추가

To Reviewer

• input, output 형식은 모두 그대로 유지되고 있으므로 기존 코드의 작동에는 거의 영향을 끼치지 않습니다.

• 22 코드에서 경로 문제를 임시로 해결하고 작동시켜봤을 때, 이 수정된 Retrieval 파일들로도 최종 prediction까지 잘 수행되는 것을 확인했습니다.

• 궁금한 점 있으시거나 수정이 필요한 부분이 있다면 말씀 부탁드립니다.

Issue Tags

• Closed: #6
• See also: #22

[LeeJeongHwi]

22와 Conflict가 발생해서, 그 부분을 해결하였습니다. 바로 병합하겠습니당