Open sangjun-Leee opened 2 years ago
Retriever에 BM25 적용해보고 성능 비교해보기
rank_bm25 모듈을 사용하여 wikipedia_doc에 대하여 sparse embedding을 진행합니다.
Mecab의 형태소 분석 tokenizer를 사용하여 context를 tokenize합니다.
topk에 대하여 문서를 k개 가져올 때(k개의 context를 하나의 context로 concat)의 성능을 비교합니다.
model : bert-base-multilingual-cased tokenizer : mecab.morphs() sparse embedding : rank_bm25
k = 10
k = 20
k = 30
k = 50
k = 80
k = 100
k = 200
k별 topk score & 걸린시간
Retriever에 BM25 적용해보고 성능 비교해보기
실험 상세 내용
rank_bm25 모듈을 사용하여 wikipedia_doc에 대하여 sparse embedding을 진행합니다.
Mecab의 형태소 분석 tokenizer를 사용하여 context를 tokenize합니다.
topk에 대하여 문서를 k개 가져올 때(k개의 context를 하나의 context로 concat)의 성능을 비교합니다.
실험 결과
model : bert-base-multilingual-cased tokenizer : mecab.morphs() sparse embedding : rank_bm25
k = 10![image](https://user-images.githubusercontent.com/85214907/138735960-2ef2935a-c612-4199-98a0-395509f8bd1a.png)
k = 20![image](https://user-images.githubusercontent.com/85214907/138736026-2af989a8-ff76-4d01-9cf2-f95e899a6a1f.png)
k = 30![image](https://user-images.githubusercontent.com/85214907/138736081-ab87ed88-c98a-4521-a02f-e2f44d1c3818.png)
k = 50![image](https://user-images.githubusercontent.com/85214907/138736157-0222f82a-1b81-41c4-8266-c45234412c47.png)
k = 80![image](https://user-images.githubusercontent.com/85214907/138736234-22874b63-f82b-46eb-be6d-9c25fef98030.png)
k = 100![image](https://user-images.githubusercontent.com/85214907/138736319-99bc41eb-4948-4997-91f6-7721204a4dad.png)
k = 200![image](https://user-images.githubusercontent.com/85214907/138736370-f72ddb12-49c3-4b49-b872-cb2c0e22765b.png)
k별 topk score & 걸린시간![image](https://user-images.githubusercontent.com/85214907/138736471-58e51672-7da2-4c1e-a250-6344d8a2abfe.png)
이슈