[FEAT] Retrieval 모듈 추가 구현

[LeeJeongHwi]

Background

• 현재 TF-IDF 방식과 개선된 BM25 방식으로는 제대로 된 결과가 나오지 않음을 확인하고 Dense Embeddings 방식을 고안
• 또한, 최근 Pretrained 모델이 많이 발전됨에 따라 Dense Embedding 활용이 활발하게 이루어지고 있음

Todo

• [x] Dense Embedding 방법론 탐색
• [x] Dense Embedding 코드 구현 및 테스트
• [x] 기존 TF-IDF과 비교

[minjijeong98]

베이스라인 코드 구현 시, 수현님(@ocean010315)께서 retrieval을 dense embedding 방식으로 구현하실 예정이라고 전달받았습니다. 그렇게 되면 제가 dense embedding 모듈을 구현하는건 불필요한 중복 작업이라고 생각해서, sparse embedding 모듈을 구현하는 방향으로 진행하려 합니다. 구체적으로는 다음과 같습니다.

Todo

• [x] Sparse Embedding 방법론 탐색
• [x] Sparse Embedding 코드 구현 및 테스트
  • [x] TF-IDF 기능 구현
  • [x] BM25 기능 구현
  • [x] 성능 평가 기준 선택
• [x] Sparse Embedding 테스트: topk 별 retrieval 성능
  • [x] 테스트 코드 작성
  • [x] 결과 시각화
  • [x] confluence 결과 문서 작성 (링크)

[LeeJeongHwi]

@minjijeong98 넵 확인하였습니다. 만약에 좀 더 깊게 보고싶다고 하시면.. BM25랑 DPR(Dense Passage Retrieval)을 결합한 방식인 이 논문을 한번 참고해보시면 좋을 것 같습니다!

http://dsba.snu.ac.kr/seminar/?mod=document&uid=2653

https://youtu.be/QkR7nXErhtM?si=Rqn0TwScXwqQPoNn