엠제이 CNN 모델에서 convolution layer 에서 dense로 넘어 갈때 파라미터가 급등하는 이유
convolution layer에서는 커널 사이즈에 따라 파라미터 수가 결정이 되는데 dense(Fully Connected)로 넘어 갈때는 tensor 사이즈가 결정합니다.
kerner 크기= K , channel =C , kernel의 개수 =N
conv 연산 = K x K x C x N
conv layer 크기 = I , channel =C , output FC layer 크기(뉴런 수) = O
FC 연산 = I x I x C x O
샐리 채널 개수는 어떻게 처리 하나요?
채널은 더하는 게 아니라 예를 들어, (ch, h, w) = (3, 3, 3) 27개를 일렬로 나열하는 것
그럼 flatten한 결과는 (1, 27)이 나온다. 근데 최종 label이 10이라고 할 때 (1, 27) -> (1, 10)으로 변환을 하려면 (27, 10) 크기의 weight 행렬이 필요하다.
그래서 최종적으로 27*10의 파라미터 개수가 필요하게 된다.
=> feature map을 flatten하기 때문에 파라미터의 개수가 많이 늘어나게 된다.
샐리 & 후미 & 엠제이 ResNet 이 잘 이해가 안가요
Deeper neural networks are hard to train.
=> 기존은 DNN 은 기울기 소실(vanishing gradient) 문제 때문에 layer를 깊게 쌓지 못했지만 ResNet은 Residual Block을 사용하면서 문제 해결
ResNet에서 '차이'만을 학습 한다는게 무슨 뜻인가요?
=> (아래 그림 참고) 보통의 경우에는 conv layer를 통과해 나온 h(x)를 바로 학습에 투입하는 반면 ResNet의 Residual(잔차)에서는 출력으로 나온 h(x)-x를 학습에 투입한다.
이 잔차를 이용해 기울기 소실(vanishing gradient)을 해결하나요?
=> 메인 팩트는 그럼. 실제로 ResNet이 나온 이후 네트워크 레이어들이 깊어 졌음
오늘은
제리님이랑 함께 피어세션을 진행했습니다!TED -
샐리음성인식 요약 어플리케이션
전처리 (노이즈 제거 & voice enhancement) -> STT(Speech To Text) -> 요약
코로나 때문에 현강이 별로 없어 데이터를 많이 못모아서 아쉽다.
엠제이colab 연결 이슈🙏🙏🙏 해결되길 빕니다... 🙏🙏🙏
질문
엠제이CNN 모델에서 convolution layer 에서 dense로 넘어 갈때 파라미터가 급등하는 이유샐리채널 개수는 어떻게 처리 하나요?샐리&후미&엠제이ResNet 이 잘 이해가 안가요'히스' CNN 레이어가 깊을 때 각 커널의 역할
히스Gradient Vanishing 해결을 위한 ReLU 와 ResNethttps://github.com/boostcamp-ai-tech-4/peer-session/issues/52
히스님의 제안 🐭
AI 엔지니어 한테 중요한 능력인 구글링 노하우에 대한 TED 세미나 가능할까요?
오늘의 구글링 팁
영어로 검색하고 한국어웹 필터 적용해서 보기
TMI '기만자'
히스