[FEAT] Dense Passage Embedding with SBERT

[ocean010315]

Background

• Sentence Transformer(SBERT)를 사용한 DPR 구축
• 2-stages
  • Retrieval: Bi-Encoder, 하나의 encoder로 query과 passage를 각각 embedding하여 vector 비교
  • Re-Ranker: Cross Encoder, query와 passage를 하나의 시퀀스로 연결하여 모델로 유사도 비교

Todo

• [x] Bi-Encoder 학습 및 추론
• [x] Cross Encoder 학습 및 추론
• [x] Bi-Encoder로 retrieve한 결과를 Cross Encoder로 re-rank