https://arxiv.org/pdf/1704.02071.pdf
Neural pyramid network 이라는 모델을 실험하였습니다.
논문에서는 다양한 receptive field 즉, multi scale 을 더 다양하게 고려하는 layer 들을 수평하게 배치하면 성능이 좋아진다고 얘기했습니다.
일견 맞는 방법이라 생각하고, 구현이 간단하여 기존 모델에 수정하고 실험을 해봤습니다. 결과는 아래와 같습니다. 왼쪽이 제시된 방법이고 오른쪽이 보통의 unet 입니다.
학습이 잘 안되는것을 볼 수 있습니다.
제 생각엔 skip connection에 걸린 우회 네트웍만이 지나치게 학습에 영향을 미치는거라 생각드는군요.
사실 u net 도 skip connection 을 모든 해상도에 다 거는것이 맞는지도 의심이 들었었는데, high level + low level feature 를 섞어서 같은 feature map 에 넣고 linear regression 을 돌리는 형태인데, 이러면 네트웍더러 대체 뭘보고 학습하라는것인지 불분명하지 않나 생각이 들었습니다.
간혹 뉴럴넷이 학습은 잘되지만 의미가 없어보이는 불안한 결과를 낼 때가 있습니다. 그것과 상관이 있다고 생각합니다.
뭔가 이론적인 분석은 없고 느낌만 남네요 ㅠ ㅠ
페북 : https://www.facebook.com/photo.php?fbid=1288788474531939&set=gm.1386451238060071&type=3&theater
https://arxiv.org/pdf/1704.02071.pdf Neural pyramid network 이라는 모델을 실험하였습니다. 논문에서는 다양한 receptive field 즉, multi scale 을 더 다양하게 고려하는 layer 들을 수평하게 배치하면 성능이 좋아진다고 얘기했습니다. 일견 맞는 방법이라 생각하고, 구현이 간단하여 기존 모델에 수정하고 실험을 해봤습니다. 결과는 아래와 같습니다. 왼쪽이 제시된 방법이고 오른쪽이 보통의 unet 입니다. 학습이 잘 안되는것을 볼 수 있습니다. 제 생각엔 skip connection에 걸린 우회 네트웍만이 지나치게 학습에 영향을 미치는거라 생각드는군요. 사실 u net 도 skip connection 을 모든 해상도에 다 거는것이 맞는지도 의심이 들었었는데, high level + low level feature 를 섞어서 같은 feature map 에 넣고 linear regression 을 돌리는 형태인데, 이러면 네트웍더러 대체 뭘보고 학습하라는것인지 불분명하지 않나 생각이 들었습니다. 간혹 뉴럴넷이 학습은 잘되지만 의미가 없어보이는 불안한 결과를 낼 때가 있습니다. 그것과 상관이 있다고 생각합니다. 뭔가 이론적인 분석은 없고 느낌만 남네요 ㅠ ㅠ