[INFO] Retrieving and Reading : A Comprehensive Survey on Open-domain Question Answering (2021) 요약

[lectura7942]

Background

• ODQA 서베이 논문 요약: Retrieving and Reading : A Comprehensive Survey on Open-domain Question Answering (2021)
• 추후에 나온 모델보다 성능이 낮다고 증명된 것은 선이 그어져 있다.
• ODQA 역사 등 본 프로젝트에 관련이 없다고 생각되는 내용은 생략했다.
• Retriever 위주로 정리해서 Reader 관련 내용이 생략되어 있다.

내용

• Sparse Retriever
  • ~TF-IDF~
  • BM25
• Dense Retriever
  • Representation-based
  • ~[ORQA] Latent retrieval for weakly supervised open domain question answering (2019)~
    • pre-train retriever using Inverse Cloze Task
  • ~[REALM] REALM: Retrieval-Augmented Language Model Pre-Training (2020)~
    • MLM pretraining을 neural knowledge retriever로 강화
  • [DPR] Dense passage retrieval for open-domain question answering (2020)
    • no pre-training, in-batch negatives
    • BM25 + DPR 도 성능 괜찮.
  • 문제: question, document 표현식을 각각 따로 얻어서 둘 사이 관계를 얕게 앎.
  • Interaction-based
  • 연산량 많아서 large-scale documents에는 적합하지 않음.
  • Retrieve-and-read: Multi-task learning of information retrieval and reading comprehension (2018)
    • retriever + reader 같이 학습
  • Revealing the importance of semantic retrieval for machine reading at scale (2019)
    • paragraph-level, sentence-level dense Retriever
  • Representation-interaction
  • good trade-off between effectiveness and efficiency
  • [ColBERT-QA] Relevance-guided Supervision for OpenQA with ColBERT (2020)
    • (1) question, document encoder 각각 따로 학습해서 relevance score 계산. (2) ColBERT로 question의 각 토큰 임베딩을 모든 document와 점수를 계산. (1)과 (2) 로 최종 점수 계산.
  • [SPARTA] Sparta: Efficient open-domain question answering via sparse transformer matching retrieval (2020)
    • token-level matching score 계산
• Iterative Retriever
  • (1) Document Retrieval; (2) Query Reformulation: 새로운 query 생성; (3) Retrieval Stopping Mechanism 단계 반복.
  • 특히 multi-hop reasoning(여러 document를 종합해서 답을 추론해야 하는 경우)에 좋음.
  • 본 프로젝트 목표에 비해 복잡해서 생략
• document(retriever 결과) post-preprocessing
  • 가져온 document rerank 해서 후보 document 개수 줄이기.
  • 서베이 논문 저자가 최근 Dense Retriever는 랭킹도 가능하도록 학습돼서 해당 모듈이 필요 없다고 하므로 내용 생략
• answer(reader 결과) post-processing
  • Evidence aggregation for answer re-ranking in open-domain question answering (2017)
  • strength-based re-ranker: rule-based 방법. 후보군의 확률에 따라 rerank
  • coverage-based re-ranker: attention-based match-LSTM model 사용. 같은 답을 포함하는 여러 passage를 합쳐서 만든 passage가 해당 답을 얼마나 잘 entail 하는지 봄.
  • [RankQA] RankQA: Neural question answering with answer re-ranking (2019)
  • retriever와 reader 결과 feature를 종합적으로 봐서 answer rerank
• end-to-end methods: retriever-reader, retriever-only, reader-only
  • [BERTserini] End-to-end open-domain question answering with BERTserini (2019)
  • 베이스코드를 전체를 갈아엎어야 하므로 생략.

To Do

• [ ] document post-preprocessing 내용 추가
• [ ] Reader 내용 추가
• [ ] 2022 ODQA 서베이 논문 읽기: A Survey for Efficient Open Domain Question Answering

See Also

서베이 논문에서 다음 기준으로 모델을 분류했다.

[lectura7942]

• 노션에 백업 완료

[hoooolllly]

DPR 관련 논문입니다 PRE-TRAINING TASKS FOR EMBEDDING-BASED LARGE-SCALE RETRIEVAL https://arxiv.org/pdf/2002.03932.pdf