[Survey List] NeuMan 후속 연구들

[sghong977]

노션이나 블로그나 컨플루언스 등등은 copy&paste할때 불편해서 여기다가 정리

• NeuMan을 인용한 논문 최신순 https://scholar.google.com/scholar?hl=ko&as_sdt=2005&sciodt=0,5&cites=4308511704577688456&scipsc=&q=&scisbd=1
• 원래는 RANA(nvidia 논문, light condition 추가한 연구)를 제외하면 크게 관련있는 후속 연구가 없었는데, 최근 며칠~한달 사이에 NeuMan을 인용 걸어서 나온 논문이 쏟아짐 (이번 CVPR 되었다는 논문들로 보임)

generalization 관련

매번 사람 따로따로 학습하는거 덜어주는 논문. 이번에 이게 많이 보였다.

ActorsNeRF

• 여러 사람에 대해 pretrain한다음 few shot 방식으로, target actor에 대해서는 적은 양의 이미지로 finetuning 한다고함
  • 데이터 언급: "With only a few images (e.g., 30 frames) of an unseen actor in the AIST++ Dataset, ActorsNeRF animates the actor with novel poses from the 3DPW Dataset"
  • 테스트 데이터는 ZJUMoCap과 AIST++
  • category-level pre-training NeRF는 sampled point를 category-level canonical space로 보내서 학습하는데 여기서 사람에 대한 shape, appearance에 대한 prior를 배우는 것
  • N개의 monocular video를 사용한다고함, pre-train data에 대해서는 논문에 정확히 나와있지 않음
• https://jitengmu.github.io/ActorsNeRF/
• 저자: UC 샌디애고, 바이트댄스

YOTO

• 마찬가지로 N개의 monocular video를 통해서 canonical space에서 여러 비디오의 shape, appearance를 학습하는 구조, few shot은 아님
• 홍콩과기대
• https://arxiv.org/pdf/2303.05835.pdf
• 아직 별도의 코드나 프로젝트 페이지 없는듯함, 조만간 코드와 모델을 공개하겠다고 했음

SHERF: Generalizable Human NeRF from a Single Image

• https://skhu101.github.io/SHERF/
• 사람에만 초점
• the first generalizable Human NeRF model for recovering animatable 3D humans from a single input image. 이미지 한장!

Refining 3D Human Texture Estimation from a Single Image

• https://arxiv.org/pdf/2303.03471.pdf
• 이것도 single image
• 근데 이렇게 한장으로 잘되면, Human NeRF로 합성한 이미지 가지고 uv map을 만들어서 잘 합치면 되는거 아닌가 싶다
• https://github.com/saidaltindis/RefineTex 코드 공개한다고함

속도 관련

GNeuVox

• NeuMan처럼 single view video에서 NeRF 배우는걸 빠르게 수렴시키려고 voxel grid로 옮긴 것 자체가 하나의 논문으로 나왔음
• 코드 공개되어있어서 NeRF 속도 개선을 한다면 참고할 수 있을듯함
• http://taoranyi.com/gneuvox/
• https://www.youtube.com/watch?v=wS5k5nNkPi4&t=1s

Real-time volumetric rendering of dynamic humans

• Meta AI
• https://real-time-humans.github.io/
• 너무 필요한건데 코드가 없다.
  • "We will release our source code to allow for reproducibility. It will be released under an open-source licence. The VR and WebGL demo apps will be released in binary format." 뭐 논문 어디 붙으면 나올 듯? 논문만 선공개하고 붙으면 코드를 공개하는 분들...

Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos

• https://arxiv.org/pdf/2303.08808.pdf
• 근데 코드 공개하겠다는 말도 없고 다른 정보가 없음

누가 봐도 후속연구 & 비슷한 것

정말 정석적인 후속 연구 느낌이다 싶은 것들.

Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields

• 중국 회사 PhiGent Robotics, 다들 소속을 회사 하나만 달고있음
• https://arxiv.org/pdf/2301.00411.pdf
• 코드 공개 예정이라함
• D^{4}NeRF.
• DATA: public dynamic scenes, 이 저자들의 urban driving scene (자율주행 관련)
• 각 ray에 occlusion weight라고, transmittance에 해당하는 변수를 하나 추가했다. 이 distribution을 배우면 dynamic scene에서 잠깐잠깐 occlusion 있는것 등을 커버할 수 있게됨!
  • 단순하게 생각하면 보통 dynamic scene을 한다고 하면 t축 추가해서 해결하고 그런데 그거랑 다르게 scene의 distribution을 배우겠다는 뜻.
  • 그럼 transmittance를 어떻게 모델에 추가했지?

HOSNeRF: object가 추가된 것

• https://showlab.github.io/HOSNeRF/
• 데이터는 직접 촬영해서 추후 공개라고 되어있음

Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition

• CVPR 23
• https://moygcc.github.io/vid2avatar/

[sghong977]

인상적인 논문

"AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control"

• text to 사람 아바타
• https://avatar-craft.github.io/ 강력한 데모
• 홍콩폴리텍 대학교 연구, affiliation이 구글 마소 넷플
  • 데모에서 scene은 카메라 view가 바뀌지 않았지만, human motion은 다양함
  • 심지어 shape, pose control이 둘다 가능

NPC

• 사람의 point cloud를 배우는 task: 정말로 explicit한 3D point cloud 점을 배움
  • 사람 canonical space 활용
• https://lemonatsu.github.io/npc/           

"Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis"

• CMU

• 코드 데이터 프로젝트 페이지 공개: https://andrewsonga.github.io/totalrecon/

• deformable foreground obj까지 학습하여 렌더링 가능함

  • 예시: 사람과 강아지 같이 움직이는 것도 따로따로 배움

• Given a long video of deformable objects captured by a handheld RGBD sensor, Total-Recon renders the scene from novel camera trajectories derived from in-scene motion of actors:

  • (1) egocentric cameras that simulate the point-of-view of a target actor (such as the pet)
  • (2) 3rd-person (or pet) cameras that follow the actor from behind
  • (3) 3D video filters that attach virtual 3D assets to the actor.

• Total-Recon achieves this by reconstructing the geometry, appearance, and root-body and articulated motion of each deformable object in the scene as well as the background.

• egocentric이 가능하다는게 인상적인데, 사람 뿐 아니라 고양이의 시점에서도 렌더링.

  • 현재 다루는 컨텐츠는 여러 명이 나온다는 것 자체가 어려워서 egocentric view까지는 안 다루고 있는데, 컨텐츠에서도 종류에 따라 egocentric을 다루고는 있기 때문에 이런 연구가 있다는 것 정도는 알아두면 좋을 것 같음

[sghong977]

Human에 포커스를 둔 것

특히 human pose에 포커스를 둔게 많은 듯

FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from Sparse Views

• CVPR 23 https://flex-nerf.github.io/
• 배경 X, 사람에 초점
• canonical space에서 시간도 같이 봄. 그래서 pose와 독립적인 것 / 관련있는 것에 대한 temporal deformation을 나눔

AG3D

• https://zj-dong.github.io/AG3D/
• 긴머리와 치마도 커버 가능한 3D avatar를 만듦
• 이건 아바타 자체에만 초점을 두었으며 아키텍쳐 자체가 generative model이라 좀 다르게 생김

"PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling"

• 시그래프 2023
• 칭와대학교
• pose 자체에 초점, 배경은 X
• https://lizhe00.github.io/projects/posevocab/ 프로젝트 페이지, 코드 모두 공개

"MonoHuman: Animatable Human Neural Field from Monocular Video"

• CVPR 2023
• https://yzmblog.github.io/projects/MonoHuman/
• Monocular video, AIST++ dataset
• NeRF 사용해서 사람 pose 잘 배우고, free view & novel pose에 초점을 둔 연구 (fore/background 나눠서 배경은 신경쓰지 않음)

Structured 3D Features for Reconstructing Relightable and Animatable Avatars

• CVPR 2023
• RANA삘. relightable avatar
• https://enriccorona.github.io/s3f/
• https://arxiv.org/abs/2212.06820

InstantAvatar: Learning Avatars from Monocular Video in 60 Seconds

• https://arxiv.org/pdf/2212.10550.pdf
• https://tijiang13.github.io/InstantAvatar/

EMA: Efficient Meshy Neural Fields for Animatable Human Avatars

• 칭와대학교
• https://xk-huang.github.io/ema/
• 속도가 빠름

전신이 아닌 것

HandNeRF: Neural Radiance Fields for Animatable Interacting Hands

• CVPR 2023
• 손에만 포커스를 뒀다
• https://arxiv.org/abs/2303.13825

[sghong977]

기타 논문들

"Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur"

• 홍콩 대학교, 구글
• 모션 블러가 생길때의 효과를 렌더링에 반영하는 방법에 대한 연구

"RICO: Regularizing the Unobservable for Indoor Compositional Reconstruction"

• indoor scene을 다루게 되면 봐야할듯

Unsupervised Volumetric Animation

• 코드 조만간 올라온다고함

• https://arxiv.org/pdf/2301.11326.pdf, https://snap-research.github.io/unsupervised-volumetric-animation/

• Snap Inc.

• 결과 보면 옆모습도 됨... 오...

• input = single view RGB video.

  • Tedx, VoxCeleb 256^2같이 이미 있는 데이터셋 썼는데, 비디오가 어떻게 생겼나 궁금함.
  • https://www.robots.ox.ac.uk/~vgg/data/voxceleb/ 이렇게 얼굴 부분만 자른 비디오인가?
  • 원래 발화자 찾으려고 하는 데이터이긴함. 그리고 인도 유럽 미국 영국은 있으면서 동양인은 없음.
  • utterance length는 거의 20초 미만인데 비디오에 말하는 구간만 들어있나? 이게 왜 궁금하냐면, input을 몇 프레임이나 봐야 저렇게 3d voxel 추정하고 3d keypoint 매칭해서 recon 가능한지 궁금해서.

• autoencoder 기반으로 하고 있어서 GAN 기반 모델보다는 텍스쳐 퀄리티는 떨어짐

• differentiable PnP 씀

• abstract 키워드

  • Using a 3D autodecoder framework, paired with a keypoint estimator via a differentiable PnP algorithm
  • our model learns the underlying object geometry and parts decomposition in an entirely unsupervised manner
  • This allows it to perform 3D segmentation, 3D keypoint estimation, novel view synthesis, and animation

[sghong977]

요약

해결하고 싶은 문제를 이미 누군가 비슷한 환경에서 해결했을 수 있어서, 현재 타겟으로 할 목표에 대해 아이디어 얻고자함.

핵심 내용 외 부가적으로 체크할 것

• 표현력 관련
• generalization 관련: 별개의 사람 각각 학습해야하는데 이거 완화한 연구 있는지
  • ActorsNeRF, YOTO
• NeRF는 어떤걸 썼는지 (vanilla nerf? 다른 걸로 교체?)→ 속도 이슈 때문
  • GNeuVox 참고하면 좋을듯함
  • 비슷한 input의 다른 대형랩 연구 / 대놓고 NeuMan의 후속작(예시: HOSNeRF)인 연구들에서는 어떻게 했는지 보기
• 데이터