DPR 논문을 이용한 passage의 dense embedding 벡터 구현

[kimziont]

진행 순서

• [x] MRC mission 3, 4 코드 살펴보기
• [x] DPR 논문 살펴보기
• [x] BM25를 이용해 query에 해당하는 가장 근사한 오답 passage 가져오는 모듈 - 1️⃣
• [x] Gold + BM25(1) 적용해 임베딩 벡터 생성을 위한 모델 학습 - 2️⃣

실험 상세 내용

1. KLUE dataset의 query에 가장 근사한 오답 passage를 wiki dataset에서 가져오기 위해 wiki dataset을 토크나이징 합니다
   .

2. 토크나이징된 query와 가장 유사하지만 정답을 포함하지 않는 passage를 구합니다.
   

3. gold passage와 bm25 passage를 concatenate하여 passage_encoder 모델에 넣고, query는 query_encoder에 넣어서 두 BERT 계열의 모델을 학습시킵니다.

실험 결과

• BM25로 passage 가져온 결과

• Batch size별 정답/오답 개수

  배치 사이즈	정답 passage	gold오답 passage	BM25 오답 passage	총 오답 passage
  4	1개	3개	4개	8개
  8	1개	7개	8개	16개

• model: klue/roberta-small, __batch_size: [4. 8], epoch__: [2, 5]

이슈

• Train dataset에 대한 loss 임에도 불구하고 생각했던 것보다 아직 떨어지지 않고 있습니다
• 교수님께서 제공하신 실습코드에서도 똑같이 loss가 일정 step이상 지나면 떨어지지 않는 것을 봤을 때는 이런 현상이 잘못된 건 아닐 수도 있다는 생각이 드네요
• wiki corpus에 있는 56737개 passage들의 임베딩 벡터값이 모두 거의 유사한 문제
• 다른 question에 대해 하나의 passage만 예측하는 문제

  추가로 진행 예정인 것

• [x] Embedding벡터 학습에서 생기는 문제점 해결하는 중
• [x] q_encoder의 결과로 나오는 questions의 임베딩 벡터 값이 너무 유사하다

[raki-1203]

악 졌다