Feat 15/sbert

[ocean010315]

Overview

• sentence_transformers를 사용한 Dense Passsage Embedding 구현

폴더 구조

.
|-- README.md
|-- config
|-- model
|-- outputs
|-- src
|   |-- run_sbert.ipynb
|   `-- sbert.py
`-- utils
    `-- sbert_utils.py

• run_sbert.ipynb: 사용법을 설명해놓은 노트북 파일(추후 삭제 예정)
• sbert.py: Sentence Transformer 모듈을 사용하여 구현한 BiEncoder, CrossEncoder_ 클래스

To Reviewer

• inference.py 작업을 위해 모듈화를 우선적으로 해놓고, 모듈의 사용법을 작성
• run_sbert.ipynb를 run_sbert.py로 변환하여 cmd에서 실행 가능한 형태로 구현할 예정
• 따라서 이후 노트북 파일은 삭제할 것을 감안해주시면 감사하겠습니다.
• CrossEncoder_는 setence_transformers의 CrossEncoder와 클래스 이름이 겹쳐 임의로 _를 추가한 형태인데 추천하시는 클래스명 있으면 알려주세요..🥲

Issue Tags

• 15

[LeSaUi]

CrossEncoder_ 이름 다시 짓는다면 BiEncoder 처럼 CrEncoder 또는 CsEncoder 로 줄이는 건 어떨까요

[LeeJeongHwi]

감사합니다! 위 상의님 말씀대로 CrossEncoder_ 대신 다른 용어로 대체하는게 좋을 것 같습니다. 추가로..코드를 확인해보니 retrieve 이후에 rerank 까지 한게 result_df 이고 이게 이제 reader에 전달되는 코드인것이죠?

[ocean010315]

감사합니다! 위 상의님 말씀대로 CrossEncoder_ 대신 다른 용어로 대체하는게 좋을 것 같습니다. 추가로..코드를 확인해보니 retrieve 이후에 rerank 까지 한게 result_df 이고 이게 이제 reader에 전달되는 코드인것이죠?

일반적으로 2-stages가 성능이 좋다고 하지만, 실험과 모듈 각각의 사용을 용이하게 하기 위해서 개별적으로도 retrieval을 수행할 수 있게 만들어놨습니다! 따라서 Bi-Encoder와 Cross Encoder 각각만으로도 retrieval을 수행할 수 있고, 2-stage를 사용한다면 Bi-Encoder로 먼저 retrieval을 수행하고, Cross Encoder로 re-rank를 수행하면 됩니다. 세 가지 중 어떤 경우에도 result_df로 출력됩니다.