关于数据增强的一点问题

[Mr2er0]

你好，在阅读了你的代码之后，关于数据增强的部分我有一点问题不太清楚，不知道你能否抽空解答一下。

 def add_real_back(self, rgb, labels, dpt, dpt_msk):
        real_item = self.real_gen()
        with Image.open(os.path.join(self.cls_root, "depth", real_item+'.png')) as di:
            real_dpt = np.array(di)
        with Image.open(os.path.join(self.cls_root, "mask", real_item+'.png')) as li:
            bk_label = np.array(li)
        bk_label = (bk_label < 255).astype(rgb.dtype) # 获取真实图像的背景label
        if len(bk_label.shape) > 2:
            bk_label = bk_label[:, :, 0]
        with Image.open(os.path.join(self.cls_root, "rgb", real_item+'.png')) as ri:
            back = np.array(ri)[:, :, :3] * bk_label[:, :, None]
        dpt_back = real_dpt.astype(np.float32) * bk_label.astype(np.float32)

        if self.rng.rand() < 0.6:
            msk_back = (labels <= 0).astype(rgb.dtype)
            msk_back = msk_back[:, :, None]
            rgb = rgb * (msk_back == 0).astype(rgb.dtype) + back * msk_back  # 这里真实图片的背景只有0.6的概率可以替换掉渲染图片中背景

        dpt = dpt * (dpt_msk > 0).astype(dpt.dtype) + \
            dpt_back * (dpt_msk <= 0).astype(dpt.dtype)  # 这里是一定会替换到渲染图片的背景深度图的
        return rgb, dpt

这样子背景的深度图和rgb图是否会对应不上吗，这样子的话训练的点云又是如何生成的呢？ 参考链接

[Mr2er0]

另外，我想问一下论文里所说的网络前向传播的测试时间包括深度图转化为点云之类的时间吗？还是只包括数据转化为所需网络输入格式之后的时间？

[ethnhe]

• 背景的深度图和RGB图没对应上应该问题不大，只是相当于背景的物品texutre更丰富而已，也许对网络泛化性有好处，当然我也只是拍脑门写的，都用真实图片的背景应该也差不多，网络只要学明白前景物品是什么就可以了。
• 只包括数据转化完后进入网络到网络输出结果的时间，因为数据预处理方法不同的实现方法速度差异还是比较大的。

[Mr2er0]

好的，感谢~