I have some problems with the issue:

[Jaywen1]

Hi @Fang. 非常感谢您做的工作，我想复现或引用您这篇文章， 但在过程中出现了一些问题： ①首先，我直接运行了源码sample_inference.py和提供的checkpoint文件，但生成点云的效果并不理想，出现了大量散点；

②之后，我使用相同的参数在RTX3090上重新训练了模型，达到了文章中的metrics，甚至更好，但是在sample_inference.py 生成的cloud中，透明物表面对比cloud_gt而言非常的扭曲， 我十分看好您这种end-to-end方法，但又有些许担忧，因为cleargrsp原文中提到“推测法线比直接推测深度更可靠”， 所以希望能复现出您的效果来尝试这种方法的能否还原趋近真实表面。

Looking forward to your response Thanks.

[Galaxies99]

关于第一个问题，我们最新的源码应该进行了更新，请注意一下是否使用的是最新的源码。关于 data/scene1/1/rgb1.png 的情况，我这里跑出来的结果是（inference中的 depth_coefficient = 2）

请关注是否下载了最新版本的checkpoint，以及用了最新版本的代码。

关于第二个问题，我们也训练出了在 metrics 方面更高的模型，但实际应用中目前这版模型对深度还原的质量上更好一些，因此我们选用的是这一版本的模型。正如你所提出的，补全后的物体表面会出现一定程度的扭曲（这在某些最近的论文中也提到过，应该是一篇使用 transcg 补全后进行物体 6d pose 估计的文章），但是在我们的实验中，针对于后续 robotic grasping 或 robotic manipulation 的下游任务，这种情况是可以接受的。

[Galaxies99]

你提到了cleargrasp 原文中 “推测法线比直接推测深度更可靠” 的说法。这点我想做如下解释：

推测法线后，可以通过一个最优化问题解出来深度，因此有其背后一定的数学背景，从这个角度说确实更可靠。

但是我们在实验中发现，即便是预测法线，cleargrasp在实验中的表现也没有想象的那么优秀（可以参考文章中 qualitative experiment 的图片），且需要消耗大量的时间在最优化问题上。

我们提出这样 end-to-end 的初衷就是提升效率，并且探究是否只需要一个更简单、直接的结构就可以得到较为不错的效果。当然，我们相信效果还可以进一步提升，因为我们的网络相比目前的其他网络来说更简单，可以在 end-to-end 的框架下探索加入其他结构是否可以进一步提升性能，比如最近的一些文章：《TODE-Trans: Transparent Object Depth Estimation with Transformer》等等。

[Jaywen1]

谢谢您的回复，我的问题解决了

[Jaywen1]

Hi Fang:      再次谢谢您的工作及耐心回复！      为了验证TransCG的泛化能力，我使用最新的checkpoint作了如下验证：

     ① 使用Cleargrasp数据集，000000000-transparent-rgb-img.jpg + 000000000-transparent-depth-img.exr（附件1,2）

     ② 使用realsense D435i自己采集到的对齐图片,0.png + depth0.png （附件3,4）

令人差异的是，实验1中objects结构复杂，但深度完成结果较好。(请见Fig.1)                     实验2中objects结构简单，但深度完成效果并不好。（请见Fig.2）

请问您有遇到过这种情况吗？或有没有好的建议？期待您的回复，十分谢谢！

Fig.1:

Fig.2:                                    

文杰 @.***

 

------------------ 原始邮件 ------------------ 发件人: "Galaxies99/TransCG" @.>; 发送时间: 2022年12月12日(星期一) 下午3:03 @.>; @.**@.>; 主题: Re: [Galaxies99/TransCG] I have some problems with the issue: (Issue #13)

你提到了cleargrasp 原文中 “推测法线比直接推测深度更可靠” 的说法。这点我想做如下解释：

推测法线后，可以通过一个最优化问题解出来深度，因此有其背后一定的数学背景，从这个角度说确实更可靠。

但是我们在实验中发现，即便是预测法线，cleargrasp在实验中的表现也没有想象的那么优秀（可以参考文章中 qualitative experiment 的图片），且需要消耗大量的时间在最优化问题上。

我们提出这样 end-to-end 的初衷就是提升效率，并且探究是否只需要一个更简单、直接的结构就可以得到较为不错的效果。当然，我们相信效果还可以进一步提升，因为我们的网络相比目前的其他网络来说更简单，可以在 end-to-end 的框架下探索加入其他结构是否可以进一步提升性能，比如最近的一些文章：《TODE-Trans: Transparent Object Depth Estimation with Transformer》等等。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[Galaxies99]

我这里无法看到你发的图片，请直接通过我的邮箱联系吧