关于训练llff数据集的问题

[520jz]

大佬您好，原谅我的菜，我想问一下关于llff数据集是怎么训练的，因为我看您给的教程里面只有关于dtu的训练示例 如果我想训练llff中的flower数据集我是直接运行flower.yaml还是llff_eval.yaml呢

我还比较好奇的是，您的论文中的定性比较的图片是怎么比较的呢？是提前在某一个数据集里面训练好，然后用预训练好的模型去渲染出没见过的场景吗？还是说选取对应的场景我用很少的视角去训练，比如一个场景35张图片，我用其中的3张训练，其余的用训练好的模型进行渲染并比较。就比如下面这个fern数据集的某一视角，您是用哪些数据集进行预训练的模型呢？是用的除开fern之外的所有flower数据集进行训练的模型吗？然后训练好后，用预训练的模型去渲染整个fern数据集吗？

[TQTQliu]

您好，谢谢您对我们工作的关注。

泛化新视图合成的任务设定是：首先在某一个数据集上训练模型，得到预训练好的模型后，就可以在新的场景或者新的数据集上直接推理渲染，而不需要重新训练优化。您提到的“一个场景35张图片，我用其中的3张训练，其余的用训练好的模型进行渲染并比较”这种是Few-shot Novel View Synthesis的任务设定，比如SparseNeRF。这些方法和NeRF一样，对每个新场景仍然需要重新训练优化，只是输入的是few-shot视图。

在我们的实验中，我们的模型是在DTU训练集上训练的，然后在DTU测试集、LLFF、NeRF Synthetic 和Tanks and Temples数据集上对预训练的模型进行测试评估的。所以在Readme中Train generalizable model部分里只提供了在DTU上训练的运行命令。

如果您想在LLFF数据集上训练，更换config文件即可，即：

python train_net.py --cfg_file configs/mvsgs/llff_eval.yaml

如果想在某一个场景上训练，比如LLFF数据集中的flower场景，

python train_net.py --cfg_file configs/mvsgs/llff/flower.yaml

值得注意的是，在训练开始之前，脚本会先检查trained_model/mvsgs/exp_name路径下是否有checkpoint，如果有，就会加载最新的checkpoint（即默认resume，从断点开始继续训练）。所以你可以通过修改config文件中的exp_name字段的值来控制是train from scratch还是fine-tuning。对单个场景的fine-tuning可以参考这里。同时您可以在这里指定训练的epoch数量，或者在单个场景的config文件中指定，在这里指定flower场景的训练的epoch的数量。

[520jz]

您好，谢谢您对我们工作的关注。

泛化新视图合成的任务设定是：首先在某一个数据集上训练模型，得到预训练好的模型后，就可以在新的场景或者新的数据集上直接推理渲染，而不需要重新训练优化。您提到的“一个场景35张图片，我用其中的3张训练，其余的用训练好的模型进行渲染并比较”这种是Few-shot Novel View Synthesis的任务设定，比如SparseNeRF。这些方法和NeRF一样，对每个新场景仍然需要重新训练优化，只是输入的是few-shot视图。

在我们的实验中，我们的模型是在DTU训练集上训练的，然后在DTU测试集、LLFF、NeRF Synthetic 和Tanks and Temples数据集上对预训练的模型进行测试评估的。所以在Readme中Train generalizable model部分里只提供了在DTU上训练的运行命令。

如果您想在LLFF数据集上训练，更换config文件即可，即：

python train_net.py --cfg_file configs/mvsgs/llff_eval.yaml

如果想在某一个场景上训练，比如LLFF数据集中的flower场景，

python train_net.py --cfg_file configs/mvsgs/llff/flower.yaml

值得注意的是，在训练开始之前，脚本会先检查trained_model/mvsgs/exp_name路径下是否有checkpoint，如果有，就会加载最新的checkpoint（即默认resume，从断点开始继续训练）。所以你可以通过修改config文件中的exp_name字段的值来控制是train from scratch还是fine-tuning。对单个场景的fine-tuning可以参考这里。同时您可以在这里指定训练的epoch数量，或者在单个场景的config文件中指定，在这里指定flower场景的训练的epoch的数量。

哦哦哦，明白了谢谢大佬，我惊讶于竟然只需要在dtu的训练集上训练就可以泛化到LLFF和NeRF Synthetic等数据集，感觉这几个数据集场景差别蛮大的。

[520jz]

您好，谢谢您对我们工作的关注。

泛化新视图合成的任务设定是：首先在某一个数据集上训练模型，得到预训练好的模型后，就可以在新的场景或者新的数据集上直接推理渲染，而不需要重新训练优化。您提到的“一个场景35张图片，我用其中的3张训练，其余的用训练好的模型进行渲染并比较”这种是Few-shot Novel View Synthesis的任务设定，比如SparseNeRF。这些方法和NeRF一样，对每个新场景仍然需要重新训练优化，只是输入的是few-shot视图。

在我们的实验中，我们的模型是在DTU训练集上训练的，然后在DTU测试集、LLFF、NeRF Synthetic 和Tanks and Temples数据集上对预训练的模型进行测试评估的。所以在Readme中Train generalizable model部分里只提供了在DTU上训练的运行命令。

如果您想在LLFF数据集上训练，更换config文件即可，即：

python train_net.py --cfg_file configs/mvsgs/llff_eval.yaml

如果想在某一个场景上训练，比如LLFF数据集中的flower场景，

python train_net.py --cfg_file configs/mvsgs/llff/flower.yaml

值得注意的是，在训练开始之前，脚本会先检查trained_model/mvsgs/exp_name路径下是否有checkpoint，如果有，就会加载最新的checkpoint（即默认resume，从断点开始继续训练）。所以你可以通过修改config文件中的exp_name字段的值来控制是train from scratch还是fine-tuning。对单个场景的fine-tuning可以参考这里。同时您可以在这里指定训练的epoch数量，或者在单个场景的config文件中指定，在这里指定flower场景的训练的epoch的数量。

对了，大佬我还想再问一下这个优化是什么意思呢？我在dtu数据集上train好的模型直接Evaluation不就已经可以获得渲染的视图了吗？为什么还要去optimization，里面还提到的优化高斯点云是什么意思呢？

[520jz]

您好，谢谢您对我们工作的关注。

泛化新视图合成的任务设定是：首先在某一个数据集上训练模型，得到预训练好的模型后，就可以在新的场景或者新的数据集上直接推理渲染，而不需要重新训练优化。您提到的“一个场景35张图片，我用其中的3张训练，其余的用训练好的模型进行渲染并比较”这种是Few-shot Novel View Synthesis的任务设定，比如SparseNeRF。这些方法和NeRF一样，对每个新场景仍然需要重新训练优化，只是输入的是few-shot视图。

在我们的实验中，我们的模型是在DTU训练集上训练的，然后在DTU测试集、LLFF、NeRF Synthetic 和Tanks and Temples数据集上对预训练的模型进行测试评估的。所以在Readme中Train generalizable model部分里只提供了在DTU上训练的运行命令。

如果您想在LLFF数据集上训练，更换config文件即可，即：

python train_net.py --cfg_file configs/mvsgs/llff_eval.yaml

如果想在某一个场景上训练，比如LLFF数据集中的flower场景，

python train_net.py --cfg_file configs/mvsgs/llff/flower.yaml

值得注意的是，在训练开始之前，脚本会先检查trained_model/mvsgs/exp_name路径下是否有checkpoint，如果有，就会加载最新的checkpoint（即默认resume，从断点开始继续训练）。所以你可以通过修改config文件中的exp_name字段的值来控制是train from scratch还是fine-tuning。对单个场景的fine-tuning可以参考这里。同时您可以在这里指定训练的epoch数量，或者在单个场景的config文件中指定，在这里指定flower场景的训练的epoch的数量。

对了，大佬我还想再问一下这个优化是什么意思呢？我在dtu数据集上train好的模型直接Evaluation不就已经可以获得渲染的视图了吗？为什么还要去optimization，里面还提到的优化高斯点云是什么意思呢？

[TQTQliu]

我们follow前人的工作（比如MVSNeRF和ENeRF），从两个方面对我们的方法进行评估: 1）评估其泛化能力。即利用预训练好的模型在新的场景、新的数据集上直接推理，一次前向推理就能得到新视图； 2）评估其对特定场景的拟合能力。上述的泛化推理速度较快，但合成质量可能不够理想，特别是训练数据和测试数据domain差别较大时，这时可以选择per-scene optimization，这里的逐场景优化也就是微调的意思。我们提供了两种策略，一种是利用预训练模型得到的点云作为3DGS的初始化来拟合特定场景，另一种是在特定场景上对模型进行微调。我们推荐第一种优化的方式，因为其速度快以及渲染的视图质量更好。在这里提供了两种方式的运行指南。

上述两个评估赛道对应了两种选择，泛化推理仅需要前向推理即可，不需要重新训练或者微调，但可能对于特定场景的合成质量不如逐场景优化后的效果，用户可权衡自己的需求来选择。

[520jz]

我们follow前人的工作（比如MVSNeRF和ENeRF），从两个方面对我们的方法进行评估: 1）评估其泛化能力。即利用预训练好的模型在新的场景、新的数据集上直接推理，一次前向推理就能得到新视图； 2）评估其对特定场景的拟合能力。上述的泛化推理速度较快，但合成质量可能不够理想，特别是训练数据和测试数据domain差别较大时，这时可以选择per-scene optimization，这里的逐场景优化也就是微调的意思。我们提供了两种策略，一种是利用预训练模型得到的点云作为3DGS的初始化来拟合特定场景，另一种是在特定场景上对模型进行微调。我们推荐第一种优化的方式，因为其速度快以及渲染的视图质量更好。在这里提供了两种方式的运行指南。

上述两个评估赛道对应了两种选择，泛化推理仅需要前向推理即可，不需要重新训练或者微调，但可能对于特定场景的合成质量不如逐场景优化后的效果，用户可权衡自己的需求来选择。

明白了！谢谢大佬！