[DAY 12] 최적화

[opijae]

오늘은 특별한 이슈가 없어 바로 질문 세션으로 넘어갔습니다!

질문

-엠제이 아다델타에서 h가 뭔의미가 있는것이 아니고 learning rate 처럼 사용한다.

• 히스 딥러닝에서의 모집단은 어떤 걸까요?
  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/45#issuecomment-771377602
• 히스 cross-validation에서 train 데이터 중 validation 데이터를 따로 뽑지 않고 test 데이터로 validation 하면 어떨까? 단, test 데이터를 사용할때 나온 결과는 weight에 영향을 주지 않는 다고 가정을 한다.
  • 이론상 될것 같지만 그러면 validation 과정을 거치는 이유가 없을것 같다.
  • validation과정을 통해 weight값을 조정해 주는데 이 과정을 빼면 아예 의미가 없는것이 아닐까..
• 서폿 convolution 연산시 커널과 행렬 연산
  • convolution 연산은 dot product가 아닌 element-wise 연산이다.
• 후미 convolution 연산에서 커널이 여러개 있을때 output
  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/50

• 엠제이 adadelta를 통해서 천억개의 파라미터 연산량을 어떻게 줄여주는것일까? -https://github.com/boostcamp-ai-tech-4/peer-session/issues/49

  엠제이 님의 CNN 강연

• 2차원 행렬인 4X4 input을 2X2 커널 A, 2X2 커널 B에 통과를 시키면 합성곱 연산을 통해 각 커널에 대한 3X3 feature map이 나오게 된다. 나온 feature map을 flat해 input에 대해 분석을 하는 것이다.

실제로 딥러닝을 돌린다음 나온 커널들을 확인해 보면 각 커널마다 특정한 '특징'을 잡아내는 것을 확인 할 수 있었다. ex) 어떤 커널은 이미지의 edge를 뽑아내고 어떤건 명암을 뽑아내는등.. 펭귄님이 가져오신 cs231n 강의 사진을 보면 conv에서 자동차의 특징을 뽑아내는것을 확인 할 수 있다.

잘 안보이시면 눈 크게 뜨고 보시면 됩니다!

---

TMI 세미나 -샐리

• 샐리님은 역시 샐리하신 것 같습니다.

[jjerry-k]

Convolution 연산 후 출력 크기 계산하는 식은 알아두시면 좋습니다!