[DAY 17] Recurrent Neural Network and Language Modeling & LSTM and GRU

[changwoomon]

마스터 클래스 질문

1. 현재 NLP 에서 가장 핫한 모델인 GPT-3 를 활용하려 할 때, 네이버 같은 큰 회사가 아니고서는 엄청난 코스트가 소모되기 때문에 학습시킬 수가 없어서, OpenAI 의 허가를 받아야 하는 것으로 알고 있습니다. 개인이나 작은 단체는 이런 큰 규모의 모델을 어떻게 학습하고 활용할 수 있을까요? 앞으로 더 규모가 큰 모델이 나온다면 어떻게 대처해야할까요?
2. 챗봇 '이루다' 사태에 대해 어떻게 생각하시나요?

---

❓질문

히스

• Word2Vec의 목적이 무엇인가요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/65

• LSTM과 GRU는 백프로파게이션을 셀 스테이트에 대해서만 하나요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/66
  • LSTM가 gradient vanishing에 강한이유?

펭귄

• 양방향 RNN/LSTM은 어떤 식으로 학습을 하나요?
  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/67
  • Bidirectional RNN과 Bidirectional LSTM (이론편)

Further Questions

• Word2Vec과 GloVe 알고리즘이 가지고 있는 단점은 무엇일까요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/69
  • What are the advantages and disadvantages of Word2vec and GloVe?

• BPTT 이외에 RNN/LSTM/GRU의 구조를 유지하면서 gradient vanishing/exploding 문제를 완화할 수 있는 방법이 있을까요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/68
  • Training - BPTT / RTRL / EKF
  • 효과적인 RNN 학습

• RNN/LSTM/GRU 기반의 Language Model에서 초반 time step의 정보를 전달하기 어려운 점을 완화할 수 있는 방법이 있을까요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/68
  • 초반에는 입력으로 예측값 대신 ground truth 값을 넣어준다.
  • https://www.edwith.org/bcaitech1/forum/50166