metircs 评估 - Githubissues

sunbeam-217 commented 4 months ago

你好，请问bad-gaussans是如何生成定量评估数据的。我查阅有关资料后nerfstudio有ns-eval命令可以评估。但是执行该指令后只生成一个output.json文件，不知文件里的评估指标是新视图合成的评估指标还是去模糊的评估指标。想请教一下大佬是如何评估的

LingzheZhao commented 4 months ago

您好!感谢您对我们工作的关注。对于合成数据（数据集中有images_test作为去模糊的groundtruth），可以在tensorboard/wandb中的 Eval Images Metrics Dict (all images) 看到实时的去模糊评估指标。同时，图片都会被保存在outputs/<exp name>/bad-gaussians/<datetime>/<steps>路径下，在论文中，为了和其他方法公平地对比，我们统一用BAD-NeRF中的评估脚本来得到评估指标。对于新视图合成，我们正在重构代码，预计不久后会更新一个不依赖于nerfstudio的版本，里面会提供快速复现和评估的脚本。

sunbeam-217 commented 4 months ago

您好!感谢您对我们工作的关注。对于合成数据（数据集中有images_test作为去模糊的groundtruth），可以在tensorboard/wandb中的 Eval Images Metrics Dict (all images) 看到实时的去模糊评估指标。同时，图片都会被保存在outputs/<exp name>/bad-gaussians/<datetime>/<steps>路径下，在论文中，为了和其他方法公平地对比，我们统一用BAD-NeRF中的评估脚本来得到评估指标。对于新视图合成，我们正在重构代码，预计不久后会更新一个不依赖于nerfstudio的版本，里面会提供快速复现和评估的脚本。

好的好的，非常感谢

xiaoyaolovlife commented 3 months ago

您好，很感谢你们的工作，想问下Eval Images Metrics和Eval Metrics Dict中的psnr分别代表什么？以及新视图合成的代码和评估脚本有没有什么暂时可以替代的方案？以及table 7位姿估计的表现的数据是怎么获取到的，感激不尽

LingzheZhao commented 3 months ago

@xiaoyaolovlife 您好，这里metrics确实有些混乱，有些属于nerfstudio的历史遗留：因为以前基于nerf的方法的渲染非常耗时，在训练中通常Eval的频率会设得比较低，所以人们设定了每隔几百步步eval一个batch（对应Eval Metrics Dict）/一张图片（对应Eval Images Metrics）；当训练完成之后，才会eval所有图片（对应Eval Images Metrics Dict (all images)）。现在3DGS渲染的速度很快，所以我们可以直接每隔几百步就Eval所有图片。这里其实我们只关心"Eval Images Metrics Dict (all images)"，这个是每次在所有测试图片上算出指标后求的平均值。

因为nerfstudio的历史包袱比较重，二次开发比较困难，我们重构了一个不依赖于nerfstudio的版本，预计这周可以开源出来，里面会包含新视图合成和评估的功能。

此前我们是使用export_poses_from_ckpt.py 这个脚本，从checkpoint导出TUM格式的轨迹后，通过evo将轨迹和groundtruth进行对齐后计算得到的ATE指标。在新版本中我们会将轨迹评估也编写到运行流程里。

sunbeam-217 commented 2 months ago

您好，请问上次您提及的不依赖nerfstudio的代码计划发布在此处还是其他位置呀

LingzheZhao commented 2 months ago

您好，请问上次您提及的不依赖nerfstudio的代码计划发布在此处还是其他位置呀

不好意思哈，之前生病了，然后最近有些别的项目，这两天我会更新到这个仓库

sunbeam-217 commented 2 months ago

好的好的，非常感谢！

WU-CVGL / BAD-Gaussians

metircs 评估 #18