1107 미팅 - Githubissues

Team-KDA / natural-language-processing

Study NLP topics, Participate in competitions if possible

0 stars 0 forks source link

1107 미팅 #4

Open HyunjoonCho opened 2 years ago

HyunjoonCho commented 2 years ago

Language Model

KoBERT: Star 750
KoELECTRA: Star 390
- 개발자가 직접 작성한 후기
- Generative model에 대한 지식이 있으면 좋다는듯 - 특히 GAN? VAE는 또 뭐지..
  EDA
  
  by @lodikim
AI Hub의 Summary 학습용 데이터셋
신문 데이터가 제일 큼(30만), 사설 - 법률문서(3~6만)
input을 어떻게 다듬을지도 중요할듯
- json 포맷에서 sentence들만 concatenate 해서
- conditional input; 전체 기사를 input으로 쓰되
validation set도 붙여서 k-fold cv로