Closed wylblank closed 6 months ago
yihua7
commented
6 months ago 您好，可以尝试修改提供的数据处理脚本，跳过该行。 https://github.com/yihua7/SC-GS/blob/26cd57d09598b2f5d951029808a5ac9f0ff4f626/data_tools/phone_catch.py#L151 或者创建名为images的子文件夹存储图片，程序能够自动跳过视频帧提取，其余流程程序会为您自动化运行。
wylblank
commented
6 months ago 您好，可以尝试修改提供的数据处理脚本，跳过该行。
或者创建名为images的子文件夹存储图片，程序能够自动跳过视频帧提取，其余流程程序会为您自动化运行。
非常感谢您的回复，请问3DGS官方提供的火车数据集，应该怎么通过您开发的SC-GS来进行预处理和训练呢？像这种相机运动的SC-GS应该怎么弄？
wylblank
commented
6 months ago 您好，可以尝试修改提供的数据处理脚本，跳过该行。
或者创建名为images的子文件夹存储图片，程序能够自动跳过视频帧提取，其余流程程序会为您自动化运行。
您好，请问像nuscense数据集这种自动驾驶路采数据，我训练的效果不是很理想，PSNR一直维持在30左右，怎么对它进行场景重建，请问您有什么建议吗？万分感谢
yihua7
commented
6 months ago 您好，不太清楚您的数据。但我推测对于自动驾驶场景使用StreetGaussian也许是更好的选择？希望能够帮到您。
wylblank
commented
6 months ago 您好，不太清楚您的数据。但我推测对于自动驾驶场景使用StreetGaussian也许是更好的选择？希望能够帮到您。
感谢您给出的建议，我也看了StreetGaussian的论文，但StreetGaussian一直未开放源码，无法查看具体效果，StreetGaussian我看也是您学校进行开发的，如果有什么消息希望您可以告诉我一下，谢谢。
还有，不知您是否用SC-GS跑过3DGS官方提供的train数据集，效果如何？
yihua7
commented
6 months ago 不好意思我也没有相关消息。这个Tank&Temple数据是静态的，其实完全没必要用SC-GS，除非您有对该场景进行变形编辑的需求，那么SC-GS能为您提供一个交互式编辑的工具选择。该场景在高斯原文中有展示，效果应该是有保证的。
至于自动驾驶场景，我的看法是利用车辆检测的Bounding Box作为Motion先验去优化动态高斯能让效果更好，SC-GS并没有这些假设，而且专注于建模非刚性的动态运动。车辆这类物体的运动往往只需要固定的几何+6DoF运动+动态纹理就能比较好的表示了，更高维度的复杂运动表示并不一定能通过多视图很好的拟合出来，很可能会出现退化的现象。
所以我建议您尝试用检测的Box作为先验去驱动3D GS，运动参数用R,T的全局刚性表示（可以用检测的Box初始化），不要建模非刚性的变形，预测动态appearance，这样应该能比较快的出一些有保证的结果。
wylblank
commented
6 months ago 不好意思我也没有相关消息。这个Tank&Temple数据是静态的，其实完全没必要用SC-GS，除非您有对该场景进行变形编辑的需求，那么SC-GS能为您提供一个交互式编辑的工具选择。该场景在高斯原文中有展示，效果应该是有保证的。
至于自动驾驶场景，我的看法是利用车辆检测的Bounding Box作为Motion先验去优化动态高斯能让效果更好，SC-GS并没有这些假设，而且专注于建模非刚性的动态运动。车辆这类物体的运动往往只需要固定的几何+6DoF运动+动态纹理就能比较好的表示了，更高维度的复杂运动表示并不一定能通过多视图很好的拟合出来，很可能会出现退化的现象。
所以我建议您尝试用检测的Box作为先验去驱动3D GS，运动参数用R,T的全局刚性表示（可以用检测的Box初始化），不要建模非刚性的变形，预测动态appearance，这样应该能比较快的出一些有保证的结果。
好的，我试一下，非常感谢您的建议
您好，我自己的数据集只有连续帧图片，没有视频，请问应该怎么进行预处理和训练呢？期待您的回复