🚀 [2020] On Faithfulness and Factuality in Abstractive Summarization

[JudePark96]

논문	On Faithfulness and Factuality in Abstractive Summarization
저자	Maynez et al.
링크	https://arxiv.org/abs/2005.00661
학회	ACL 2020

요약 관련 논문을 작성할 때 사용될 Related Works 를 위한 논문

Contents

1. 초록은 뭐라고 말하고 있어 ?

2. 주요 기여점은 뭐야 ?

3. 이전의 접근과는 뭐가 다른 것 같아 ?

4. 어떤 걸 제안할 수 있을까 ?

5. 다음 논문은 무엇을 읽어야할까 ?

[JudePark96]

1. 초록은 뭐라고 말하고 있어 ?

Abstractive Summarization (ABS) 의 generated summaries 는 hallucinated facts 가 존재할 가능성이 다분함. 본 논문은 solution 을 제안하는 것이 아닌 hallucination 이 발생하는 원인 분석, 그리고 기존 evaluation metric 의 correlation, 또한 textual entailment 기반 분석을 함.

2. 주요 기여점은 뭐야 ?

Analysis 관점으로 Intrinsic and Extrinsic Hallucinations 로 나누어서 분석을 진행.

• Hallucination 이 발생하더라도 생성된 요약문은 사실일지도 모른다.
  • Source Document 에 나와있지 않은 사실을 generator 가 생성하는 경우.
• Pre-trained LM 의 rich feature 덕분에 성능이 좋아짐.
  • Pre-trained LM 을 어떻게 구축할지가 중요.
• Textual Entailment 로 평가하니 오히려 BERTScore, Rouge 보다 human gold 와의 correlation 이 더 좋았음.
  • 이는 MNLI Dataset 으로 학습하였기 때문에 문서-요약문 포맷에 최적화되어있지 않음에도 이러한 결과를 거둠.
  • 이 measurement 는 reference-less 인데 reference 또한 고려될 필요성은 있음.

[JudePark96]

4. 어떤 걸 제안할 수 있을까 ?

• hallucinated fact 를 위한 다른 reward function (기존에는 단순히 log-likelihood 를 maximize 하였음)
• Textual Entailment 에 기반한 evaluation metric
• External Knowledge Source 를 통한 feature 보강
• Document-level understanding feature 보강