[DAY 37] Timespace of ML model & Compression

[changwoomon]

❓질문

히스

• Day 37 - (4강) toy code - 차원

샐리

• Gaussian Process
  • Gaussian Process: Acquisition Function (2)

---

🤷‍♀️Further Question🤷‍♀️

(4강) 모델의 시공간

2) regular convolution 대신 depthwise seperable convolution을 사용해서 계산상의 가장 큰 이득을 보는 경우는 언제일까?

• depthwise seperable convolution을 사용함으로써 parameter, computation 수 ↓

• GoogLeNet에서 1x1 convolution을 사용한 것과 같은 의미를 가질 것이다

  3) (동전 말고) 주사위의 경우에는 maximum entropy가 얼마나 될까?

  

  
  

(5강) 알뜰히

2) 이상적인 (=성능좋은모델) 경우와 현실적인 (=성능나쁜모델) 경우의 서로 다른 P(i)와 Q(i)를 가정하고 KL divergence를 다시 계산해보자. (p 23)

• 초보를 위한 정보이론 안내서 - Cross Entropy 파헤쳐보기

  3) 이 압축률은 어떻게 해서 얻어진 걸까? (p 30)

• Pruning + Quantization