kimcando / BoostcampAITech3-PaperReading-Embedding

Boostcamp AI Tech 3rd / Basic Paper reading w.r.t Embedding
13 stars 3 forks source link

Boostcamp AI Tech 3rd : Basic Paper Reading w.r.t Embedding

TL;DR

1992년부터 2018년도까지 이루어진 word/sentence embedding의 중요한 줄기를 이루는 기초 논문 스터디를 진행하고자 합니다. 


논문 정리 발표에 들어갈 내용


리딩 리스트

Dates Paper(author) Year Presenter File upload Code explained
03/10 Class-Based n-gram Models of Natural Language(Peter F Brown, et al.) 1992 소연 설명
03/17 Efficient Estimation of Word Representations in Vector Space(Tomas Mikolov, et al) 2013 동진 발표
03/24 Distributed Representations of Words and Phrases and their Compositionality(Tomas Mikolov, et al) 2013 나연 설명 skip-gram, CBOW
03/31 Distributed Representations of Sentences and Documents(Quoc V. Le and Tomas Mikolov) 2014 기원 설명 Doc2Vec
04/21 GloVe: Global Vectors for Word Representation(Jeffrey Pennington, et al.) 2015 수정 설명
04/28 Skip-Thought Vectors(Ryan Kiros, et al.) 2015 기범 설명
05/05 Enriching Word Vectors with Subword Information(Piotr Bojanowski, et al.) 2017 은기 설명
Universal Sentence Encoder(Daniel Cer et al.) 2018


issue & 추가 스터디 자료

Dates Topic Presenter File upload
04/14 genism을 이용한 word2vec 사용 현지 링크
04/14 negative samping & subsampling 나경 링크
04/14 hierarchical softmax 소연 링크
04/14 negative contrastive estimation(NCE) 수정 링크

스터디 룰


참여자

강나경, 김소연, 김현지, 박기범, 임동진, 임수정, 정기원, 한나연, 김은기

참고 링크

논문을 정리하는 틀과 issues를 통한 discussion이 좋았던 깃헙 레포 참고

리딩 리스트를 참고한 NLP Must Read paper 정리된 깃헙 레포 참고

국내 NLP 리뷰 모임 참고 (season1의 beginners에 중복되는 논문들 있어요!)