yskim0 / CS-Paper-Review

논문 읽기 스터디
1 stars 0 forks source link

PI-REC 리뷰 #1

Closed yskim0 closed 3 years ago

yskim0 commented 3 years ago

[Model]

"Imitation Phase, Generating Phase and Refinement Phase 로 구성되어 있으며 하나의 Generator와 Discrriminator 이용."

이거랑 figure 봤을 때 헷갈리는데, 각 phase마다 Generator가 있는 것 같은데(G1_1, G1_2, G1_3), 이게 다 이어져있고 결국엔 마지막에 하나의 G1이 된다는 거? Discriminator도 그런건가? G1과 G1_1, G1_2, G1_3 간의 관계가 어떤건지 더 궁금합니닷

[Preprocessing of training Data]

오소프에서 배운 내용이 많이 나와서 재밌네 ㅋㅋㅋ

extracted edge의 each pixel은 8%의 확률로 0 값으로 reset 될 수 있음 (스케치의 선이 edge일 확률을 92%로 가정한 것.): generalization ability 향상

92%라 가정한 건 실험적인 결과로 얻은 거겠지??

[Loss]

loss가 뭐 존ㄴ나 많네 ㄷ ㄷ... LSGAN도 얘기 많이 들어봤는데 GAN 쪽으로 갈거면 꼭 읽어봐야할듯!

[Result]

(b) 그림이 되게 인상깊다. 내가 그지같이 그려도 애니같이 만들어주는건가? 저런 거 웹서비스로 만드는 프로젝트도 재밌을 듯 ㅋㅋㅋ

[기타 피드백]

항상 생각하지만 GAN이 재밌긴 해.. 근데 (회의 때 더 얘기 나눠봐야겠지만) 명확한 활용분야를 잘 모르겠어 ㅋㅋ 너가 읽은 논문처럼 2D 더 나아가서 3D 이미지를 reconstruction해서 활용할 수 있는 게 뭐가 있을까? 재미나 가벼운 의도가 아닌 진짜 큰 큰 큰 활용분야! object detection, semantic segmentation, 최근에는 더 나아가 panoptic segmentation .. 이런 분야 연구들이 계속 진행될 수밖에 없는게 우리 생활이랑 밀접하게 도움을 줄 수 있는 관련 분야가 정말 많아서인 것 같거든. 더 의미도 있고 그래서 재미도 더 생기고

GAN으로는 style transfer같은 걸 해서 이미지 변환, colorization 등을 하고 또 GTA 포함해서 게임 같은 분야에서 GAN을 사용하려고도 하고, 연구하려고도 한다는데 .. 난 이런 활용분야는 뭔가 세상을 좀 더 발전시킬 수 있는 ,, 그런 방향의 기술은 또 아닌 것 같거든 ㅋㅋㅋ

실제 우리 생활에서 GAN 기술을 통해서 크게 benefit을 이용할 수 있는 게 명확하게 떠오르지 않아 실생활에서 재밌게, 개쩔게, 의미있게 적용될 수 있는 게 뭔가 더 같이 생각해보고 싶음ㅋㅋㅋ (잠깐 생각한 게 GAN으로 fake data들을 만들어서 사회에 물의를 일으키는 경우가 많잖아. 대표적인게 딥페이크고, 이게 더 발전되면 음성으로도 만들어내서 사기칠 수 있다 하더라고 ㄷㄷ... 이런걸 detect할 수 있는 기술? GAN-detect 느낌의 연구도 재밌을 것 같아 ㅋㅋ)

leahincom commented 3 years ago
  1. 이거랑 figure 봤을 때 헷갈리는데, 각 phase마다 Generator가 있는 것 같은데(G1_1, G1_2, G1_3), 이게 다 이어져있고 결국엔 마지막에 하나의 G1이 된다는 거? Discriminator도 그런건가? G1과 G1_1, G1_2, G1_3 간의 관계가 어떤건지 더 궁금합니닷 👉 이 논문의 특징이 Generator와 Discriminator를 1개만 이용한다는 것임. 그래서 G1_1, G1_2, G1_3가 각각 한 Generator의 3단계 training phrase를 나타내는겨. 그리고 각 단계가 끝나면 이걸 다음 단계로 전달하면서 training 되는 것임!

  2. 92%라 가정한 건 실험적인 결과로 얻은 거겠지?? 👉 ㅇㅇ. 그리고 다음 문장을 읽어보면 왜 이게 장점이 되는지 더 이해할 수 있을겨.

    Not only that, each pixel in the extracted edge has a 8% chance to be reset to value zero, on account of the diverse cases, where some people draw or edit casually while others paint elaborately.

3D object reconstruction 담에 리뷰할 예정임! 너 말대로 GAN이 응용할 분야가 많아서 생각해볼 여지가 많은 것 같아. 물론 명확한 분야는 당장 모르겠어도 우리가 아직 주제 분야 픽스를 안 해놔서 감을 잡기 어려운 거일 수도 있음. 응용 분야도 차차 트렌드 분석하고 논문 리뷰하면 아이디어 떠오르지 않을까 GAN이 하도 여러 방면에서 응용돼서 이젠 반가움 ㅋㅋㅋ 이슈 고맙다잉 재밌따

yskim0 commented 3 years ago

오홍 Generator 1개 내에서도 functional하게 나눌 수 있구나 ㄷ ㄷ 되게 좋다