search

hustvl / 4DGaussians

[CVPR 2024] 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
https://guanjunwu.github.io/4dgs/
Apache License 2.0
2.25k stars 187 forks source link

单摄像机数据集 #159

Open shenqianxiang opened 4 months ago

shenqianxiang commented 4 months ago

你好，如果我想使用单摄像机来拍摄动态场景，那么我的摄像机应该保持固定位置还是移动拍摄？我应该使用什么指令，我传入的数据又需要哪些参数呢？

guanjunwu commented 4 months ago

你好，保持相机移动，如果你想重建出准确的4D场景，关于相机pose的设计请参考dycheck(neurips2022) 用nerfstudio处理数据就行。。

shenqianxiang commented 4 months ago

您的意思是，我需要一个移动相机拍摄动态场景 对此 我得到一段视频 我将其切割成数张图片 同时获得相机pose？

shenqianxiang commented 4 months ago

时间属性是在后续均匀处理还是要提前设置好？

guanjunwu commented 4 months ago

是这样的，如果你只有一个摄像头的话，需要把视频切割成图片，可以使用nerfstudio预处理（在readme.md里也有写）时间我记得在scene/dataset_reader.py中read_colmap_cameras中有设置，应该是自动分配的。如果是多个摄像头的话需要你自己对齐时间。

shenqianxiang commented 4 months ago

感谢你的回复 nerfstudio可以用来处理移动相机的动态场景的pose对吧

------------------ 原始邮件 ------------------ 发件人: "hustvl/4DGaussians" @.>; 发送时间: 2024年7月13日(星期六) 晚上6:36 @.>; @.**@.>; 主题: Re: [hustvl/4DGaussians] 单摄像机数据集 (Issue #159)

是这样的，如果你只有一个摄像头的话，需要把视频切割成图片，可以使用nerfstudio预处理（在readme.md里也有写）时间我记得在scene/dataset_reader.py中read_colmap_cameras中有设置，应该是自动分配的。如果是多个摄像头的话需要你自己对齐时间。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

guanjunwu commented 4 months ago

是可以的，nerfstudio对动态物体其实也是colmap那一套，对每个图像提取特征点进行匹配（基于静态场景假设）。如果运动太大还是没办法匹配上。现在动态场景算pose其实也是一个难题，研究社区也在尝试解决这个问题。