chullhwan-song
commented
4 years ago Abstract
- BERT를 ad hoc document retrieval 에 적용하자한 연구
- 그러나, BERT에 적용하려면, BERT 설계보다 긴 문서에 대해 문제가 있다.
- 이러한 문제를 해결하기 위해, 문장들을 개별적으로 적용한후, 이 들의 score를 합치는 방식으로 해결
Introduction
- 기존 Neural ranking 알고리즘들은 Re-Ranking용으로 많이 적용된다고 언급(실제 서비스인지??) > 여기서 말하고 싶은것은, 일반 IR(예: open-source Anserini IR toolkit)결과 안에서 Re-ranking 적용
- 생각해보니, {query, doc} pair 동시에 와야하는 상황이면, 이렇게 적용해도 좋을듯..
- 여기서는 Anserini 이용한것으로 보이는 BERTserini framework 언급
SOTA(2020-01-15)
- 14위지만, 실제로 자세히 보면, NDCG없을뿐, mAP(1위), P@20(2위)
Searching Social Media Posts
- BERTserini
- Anserini IR toolkit 기반의 Re-Ranking
- 당연히 Input은 [[CLS], Q, [SEP], D, [SEP]], 형태 - the query Q and the document D into a text sequence
Searching Newswire Articles
- QA (TrecQA & WikiQA)와 document retrieval (microblog data) 데이터셋으로 학습한 BERT의 차이가 몬지가 궁금한듯... 관련 셋으로 학습한 BERT 모델을 이용하면, 어떤게 더 좋을까?
- BERT 입장에서 보면, QA와 document retrieval 의 task가 그리 큰 차이가 없을것같음 (구현상 차이가 그리 없음)
- "top n scoring sentences"을 다음 수식으로 계산.
은 실제 doc의 BERT's (original) score
: ith번째 BERT's score- ?? 개인적으로 inference 한 doc 순위는 처음 original score로 sorting한 doc로 순위를 매기는것이지 않을까??
- a, w 는 hyper-parameter > 실제 cross-validation에서 tuned한다고 하는데, 손으로 조작하면서, 가장 높은 성능을 냈을때, define되지 않을까??
- 이 두데이터에 대한 실험결과로 보면,
- Robust04의 결과는 document retrieval (microblog data) 데이터셋하는게 더 좋았다.라는 결론이 보임.
- 생각해보니 서론에서 나온 long doc에 대한 문제는 ?? 본문에
If the input to BERT is longer than 512 tokens (BERT’s maximum limit), we further split sentences into fixed sized chunks.
결론
- 기존연구와 데이터셋을 다르게 해서(microblog data) BERT IR를 하면 논문이 됨.ㅎ > 성능도 잘나와야겠지만,,ㅎ
- 두 데이터를 합쳐서 training set으로 하면 어떨까? (궁금)
- 기존(? 어느게 먼저인지는 모르겠으나..) 이 https://github.com/chullhwan-song/Reading-Paper/issues/264 연구와 알고리즘은 동일
https://arxiv.org/abs/1903.10972