modelscope / richdreamer

Live Demo:https://modelscope.cn/studios/Damo_XR_Lab/3D_AIGC
https://aigc3d.github.io/richdreamer/
Apache License 2.0
396 stars 14 forks source link

统计指标的疑问?? #31

Closed flysky126 closed 5 months ago

flysky126 commented 5 months ago

请问论文中的clip score指标是基于prompts_list中的文本计算来的吗?有指标统计的代码吗?

lingtengqiu commented 5 months ago

RGB的指标: 我们将生成的模型的纹理render 各个视角和给定的prompt 算clip loss的均值(去掉最高分去掉最低分); 几何的指标: 我们将生成的模型的白模(无纹理,shading only)render 各个视角和给定的prompt 算clip loss的均值(去掉最高分去掉最低分);

flysky126 commented 5 months ago

RGB的指标: 我们将生成的模型的纹理render 各个视角和给定的prompt 算clip loss的均值(去掉最高分去掉最低分); 几何的指标: 我们将生成的模型的白模(无纹理,shading only)render 各个视角和给定的prompt 算clip loss的均值(去掉最高分去掉最低分);

我按照dmtet的训练步骤跑了“A Panther De Ville car”这个prompt,统计最后一步渲染后的clip score只有0.25左右(论文中平均有0.30),是哪里还有需要设置的训练参数吗?

lingtengqiu commented 5 months ago

你要全部一起跑, 把所有的val prompt 一起跑; 算的平均值,不是只有一个。

lingtengqiu commented 5 months ago

我们有一个 list的有80多个prompt;另外你跑的A Panther De Ville car,是用A100, 我们的config 跑的吗?

flysky126 commented 5 months ago

我们有一个 list的有80多个prompt;另外你跑的A Panther De Ville car,是用A100, 我们的config 跑的吗?

git上你们发布了2个prompt(大于80),是其中之一?用的你们的config, v100 mesh的细节也生成的不足,如下: 1714112620912

flysky126 commented 5 months ago

bash ./scripts/dmtet/run_batch_fast.sh $start_id $end_id ${prompts_dmtet.txt}

lingtengqiu commented 5 months ago

V100 会有一定影响的,batchsize 没有设置到我们使用的batch size = 16,dmtet 的resolution 是256 吗?

lingtengqiu commented 5 months ago

的 这个我们有跑见: https://aigc3d.github.io/richdreamer/dmtet_dreamfusion_gallery_0.html

lingtengqiu commented 5 months ago

bash ./scripts/dmtet/run_batch_fast.sh $start_id endid{prompts_dmtet.txt}

please run run_batch.sh to obtain high-quality results.