[PAPER] ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation

[soeque1]

📝 Introduction

[NLP] ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation

Why?

• Multi-turn inference 시 history(contexts) 정보를 활용할 때 주요한 contexts 추출이 필요합니다.
• Multi-turn Augmentation 시 주요한 contexts 추출이 필요합니다.

는 훼이크고 https://github.com/modulabs/beyondBERT 발표 예정입니다 ㅠ

Issue card

• [x] Configs
• [x] Data Download
• [x] Data Preparing
• [x] Data Loader
• [x] Model
• [x] Trainer
• [x] Logger
• [x] Hparams
• [x] Infernece

Issues

1. PPL 성능이 논문에 제시된 것 만큼 나오지 않습니다. 아마도 tokenizer 가 다른 이슈가 있을 것 같습니다. 현재 구현코드는 학습 코퍼스의 vocab이 아니라, GPT2의 vocab을 사용하고 있습니다 (vocab의 숫자가 더 많습니다)

Reference

https://arxiv.org/abs/1907.05339

[ssaru]

@soeque1 프로젝트를 Automated Kanban으로 설정했습니다! ㅎㅎ