NewPlus / Multi_View_Summarization

Improving Dialogue Summarization with Speaker-aware and Topic-aware Contrastive Learning

https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11488055

2 stars 1 forks source link

Baseline Model Plan #1

Closed NewPlus closed 1 year ago

NewPlus commented 1 year ago

Baseline Model

Plan & Specifications

BART from Huggingface(Pytorch)
"gogamza/kobart-base-v2"라는 Pre-trained BART Mdoel을 사용
일단 BartModel 코드를 불러와서 Encoder Representation을 입력으로 받아 Speaker-Aware와 Topic-Aware를 진행하는 코드를 구성할 예정
Data Processing의 경우, Speaker Token을 랜덤으로 샘플링하는 전처리와 Topic을 얻기 위해 Utterance의 표현들을 LDA와 같은 Topic Model로 얻는 코드로 구성할 예정
Evaluation을 위해 생성된 Summary와 Dialogue의 Question을 생성하고, 이 둘의 Answer를 비교하는 방법을 구상