[FEAT] Sparse Embedding Retrieval 구현

[minjijeong98]

Overview

• TF-IDF 또는 bm25를 이용한 sparse embedding retrieval을 구현했습니다.

Folder Structure

• retrieval/sparse폴더는 다음과 같은 구조로 구성되었습니다.

  |-- config                                       # JSON 형식의 config 파일 저장
  |   `-- sparse_retrieval_config_example.json
  |-- model                                        # wiki 문서 임베딩 벡터 및 vectorizer 저장
  |   |-- bm25.bin
  |   |-- tfidf.bin
  |   `-- tfidf_sparse_embedding.bin
  |-- outputs                                      # 실험 결과 저장
  |   |-- sparse_embedding_test_bm25.csv
  |   `-- sparse_embedding_test_tfidf.csv
  |-- src                                          # 모델 소스 코드
  |   |-- run_sparse_retrieval.py
  |   `-- sparse_retrieval.py
  `-- utils                                        # 유틸리티 함수
  `-- utils_sparse_retrieval.py

실행 방법

• ./src/sparse_retrieval.py의 SparseRetrieval 클래스를 활용합니다.
• 해당 클래스의 활용 방법 확인 및 evaluation은 run_sparse_retrieval.py 파일을 통해 수행 가능합니다.
  • 실행할 파이썬 파일 run_sparse_retrieval.py과 config 파일명을 입력해 실행합니다.
  • config에서 확장자명은 입력하지 않습니다.

    python run_sparse_retrieval.py --config sparse_retrieval_config_example

To Reviewer

• learned sparse embedding에 대한 추가 작업을 위해 sparse_retrieval 폴더를 남겨두었습니다.

• 11 이슈 해결하는대로 learned sparse retrieval 구현 마무리하면서 해당 폴더는 삭제할 예정입니다.

• 수정 또는 추가 설명이 필요한 부분이 있다면 말씀해주세요

Issue Tags

• Closed: #6
• See also: #13

[ocean010315]

아직 실행은 안 해봤지만 코드 내용만 확인했습니다! 전체적으로 깔끔하게 구분하여 구성하신 것 같습니다. command line arguments가 많지 않은 것도 좋습니다. 다만 sparse_retrieval/log에 있는 log 파일들은 꼭 필요한 정보가 있는 게 아니라면 .gitignore에 포함하는 방식 등을 사용하여 트래킹하지 않아도 괜찮을 것 같습니다!

[LeeJeongHwi]

전체적으로 코드가 깔끔하게 잘 작성되어서 좋은 것 같습니다. inference를 구성하는 과정에서 기존 코드와 동일하게 작동해서, 작업하기 편할 것 같네요!

[sty0507]

코드가 깔끔하게 되어 있어서 보기 편해 좋은 것 같습니다.

[minjijeong98]

리뷰 감사합니다!! 그럼 병합하겠습니다:)