논문을 읽는 틀 정의하기

[eubinecto]

왜?

논문을 스터디 & 발표함에 있어, 논문을 어떻게 읽고 이해할 것인지에 대한 "틀"을 확실하게 정의하고 진행하는 것이 좋을 것.

• 논문의 단순 번역이 아닌 이해가 우리의 목표.
• 논문을 이해하는 통일된 틀을 정의할 수 있다면, 그것은 스터디원들 사이의 소통에도 큰 도움이 될 것.
• 여러번의 시행착오를 통해 그런 틀을 정의할 수 있다면, 그것은 남들은 쉽게 따라할 수 없는 k4ji_ai 스터디의 정체성이자 지적재산이 될 수 있을 것.

회의록 참고:

<2020.09.19>
- 다음발표 논문 : Attention is all you need( https://arxiv.org/pdf/1706.03762.pdf )
  - 발표자 : 용택, 유빈
- 논문을 읽기 위한 질문 리스트 정리하기 (질문에 대한 답을 찾는 느낌으로 논문을 읽고 발표)
- 스터디의 정체성이 될 수 도 있다.
- 코드가 있으면 좋을 것 같다
- 앞으로 발표 이후에 피드백 시간 가지면서 질문 리스트 추가하고 발표에 대한 피드백도 진행
- 논문 읽는 방식이 정해지기 전까지는 전주에 논문 및 발표자 선정

어떻게?

예를 들자면, 이러한 공통 질문의 틀을 가지고 논문을 읽어볼 수 있을 것 (막 써본 리스트):

틀(공통질문)	예시 (LSTM)
저자는 어떠한 문제를 해결하고자 했는가?	RNN의 기울기 소실 & 폭주문제를 해결하고자 함.
그 문제를 해결한 방법은 무엇인가?	gating을 활용한 장기기억 장치를 추가
그 방법에 대한 이해 without 수학 (intuition)	각 시간대에서 필요없는 기억과 필요한 기억을 결정한다.
그 방법에 대한 이해 with 수학	필요없는 기억 결정: gating with sigmoid, comp-wise mat_mul / 필요한 기억결정: gating with sigmoid, comp-wise mat_add
성공적으로 목표를 달성했나?	기울기 소실 & 폭주 정도가 크게 줄어들었으며, vanilla RNN 대비 더 긴 길이의 sequence를 기억할 수 있음.
부족한 부분에는 무엇이 있나?	여전히 기억은 한방향으로만 흐른다. bidirectional 하지 않음. 이후 bidirectional RNN이 이문제를 해결하기위해 등장.
논문을 코드로 구현해보는 간단한 예제?	RNN 구현코드에서 모델은 LSTM으로 변경하면 된다.

일단, "논문을 이렇게 읽으면 좋다" 라는 주제의 블로그 포스팅이 꽤 있을 것 같은데, 구글링해서 이런 글들을 모아 보는 것으로 시작해보는건 어떨까.

[eubinecto]

• Stanford CS230: Deep Learning | Autumn 2018 | Lecture 8 - Career Advice / Reading Research Papers

앤드류 앵은 어떤 방법을 추천하는가?

논문을 읽는 방법

다음의 항목에 집중하며, 논문을 여러번 읽는다. (multiple pass)

1. 첫번째 pass: 제목, 초록, figures
2. 두번째 pass: Intro + conclusions + figures + skim the rest
   • reviewer에게 해당 논문이 억셉 되어야 하는 이유를 분명하게 전달하기 위해 도입부 부분과 결론 부분에 굉장히 공을 들여서 쓰므로, 이들을 먼저 읽는 것이 도움이 된다.
3. 세번째 pass: read all but skip/skim the math
   • 수학적인 부분이 잘 이해가 가지 않는다면 일단 스킵한다. 나중에 천천히 이해해도 늦지 않을 것.
4. 네번째 pass: read the whole thing but skip the parts that don't make sense.
   • 이해가 잘 가지 않는 부분은 일단 스킵한다. 어떤 논문이든 별로 중요하지 않는 부분도 있다. (e.g. ConvNet 논문의 transducers)

그렇게 빠르게 읽고 나서(한 페이지 당 1분 정도?), 다음의 질문에 대한 답을 떠올려 보라.

1. what did the author(s) try to accomplish?
2. what were the key elements of the approach?
3. what can you use yourself?
4. what other references do you want to follow?

[eubinecto]

20th of September, 2020 @teang1995

직접 한시간정도 투자를 해서 용택님과 같이 attention is all you need 논문을 스키밍 해보았음. 그렇게 회의를 한 결과 정리한 것.

발표를 하면서 준비를 할 것

발표자는 다음의 두가지를 준비하면 될 것 같다.

1. 논문의 전체적인 내용 요약

• jargon / glossary 정리하기 (읽어도 무슨 뜻인지 모르겠는 단어들)
• 인용된 논문이 있다면 어떤 부분을 인용했는지, 그리고 논문의 내용과 어떻게 연결되는지 알아내기
• 그 외에는 자유형식으로 논문을 요약해서, 마크 다운 파일에 정리

2. 공통질문에 대한 답을 하는 것

• 일단 논문을 한번 읽고 나서 답을 하는 것이 나을 것.
• 논문에 대한
• 수요일에 다시 미팅을 해서 정하기.

한시간 정도 읽어보고 막 써보는 논문의 대략적인 요약

• attention is all you need
• RNN, CNN기반의 transduction model의 한계
  • 훈련이 병렬적이지 않음. 때문에 길이가 긴 sequence의 경우, 훈련시 해당 sequence를 모두 메모리에 로드해야함.
  • 훈련시 입력 sequence에 대하여 반드시 for loop을 돌아야 함.
  • 이는 길이가 길어질 경우 훈련이 메모리 부족으로 어려워지고 시간이 오래 걸린다는 것을 의미함.
  • 이 두 모델에 attention을 결합을 한다고 해도, RNN과 CNN이 모델의 기반이라는 점에서 나오는 이런 본질적인 문제는 해결이 힘듦.
• 새롭게 제안한 방법 & 모델
  • RNN, CNN기반의 접근법을 버리고, 오직 어텐션만을 사용해보면 어떨까?
  • 그것을 어떻게?: self-attention
  • 새로운 모델의 이름: transformer
• transformer의 장점
  • attention만을 사용하면 훈련을 병렬적으로 할 수 있다. 훈련시간이 매우 빨라졌다.
  • attention만을 사용했더니 모델의 품질도 훨씬 좋아졌다. (용택님 생각: 근데 이걸 예상을 했던 건지, 어쩌다 보니 그렇게 된건지 궁금)
  • 보너스: explainable한 딥러닝 모델의 가능성을 봄.

[eubinecto]

24th of September, 목요일 8시

회의록

• 이전에 CNN/RNN에 attention이 기존에는 어떻게 적용이 되었었는지?
• attention 이 무엇인지에 대한 소개도 필요하다?
  • additive
  • multiplicative
• Scaled dot product - scale을 하는 이유?

공통질문

추가할만한 부분.

• 저자는 어떠한 문제를 해결하고 했는가?
  • 기존의 접근 방법.
  • 저자가 제안하는 방법.

  • 36 - 질문 리스트는 여기에 정리해두었습니다.