search

voldemortX / pytorch-auto-drive

PytorchAutoDrive: Segmentation models (ERFNet, ENet, DeepLab, FCN...) and Lane detection models (SCNN, RESA, LSTR, LaneATT, BézierLaneNet...) based on PyTorch with fast training, visualization, benchmarking & deployment help
BSD 3-Clause "New" or "Revised" License
824 stars 137 forks source link

怎么解释feature flip fusion #144

Closed zxt6174 closed 5 months ago

zxt6174 commented 1 year ago

你好！ 当车辆在路中间行驶时，即image大致轴对称时，特征翻转融合，很合理。

但当车辆靠边行驶时，比如靠最右侧行驶，左边有好多车道，右边只有一条， 这时，如果左边有一条被遮挡了，或者右边唯一的一条被遮挡了，这时flip fusion怎么起作用呢？

voldemortX commented 1 year ago

@zxt6174 你说的非常有道理。这也是我在讨论方法的limitation的时候最常说的，如果你有实际的落地应用，我不建议保留这个模块。它可能只在公开数据集有效。

voldemortX commented 1 year ago

算法上，flip fusion是通过deformable conv来补足你说的问题

zxt6174 commented 1 year ago

哦好，谢谢你，懂了。

还有个问题，就是二值分割和flip-fusion，这两个模块的先后顺序，对最后的结果影响会不会很大？我想的是，seg放在前边，只分割出来一侧，放在filp-fusion后边，可以分割出来两侧。

还没来得及跑对比实验

voldemortX commented 1 year ago

哦好，谢谢你，懂了。

还有个问题，就是二值分割和flip-fusion，这两个模块的先后顺序，对最后的结果影响会不会很大？我想的是，seg放在前边，只分割出来一侧，放在filp-fusion后边，可以分割出来两侧。

还没来得及跑对比实验

我没试过，你可以试试

Albertchamberlain commented 9 months ago

哦好，谢谢你，懂了。

还有个问题，就是二值分割和flip-fusion，这两个模块的先后顺序，对最后的结果影响会不会很大？我想的是，seg放在前边，只分割出来一侧，放在filp-fusion后边，可以分割出来两侧。

还没来得及跑对比实验

你好！ 请问你尝试过了修改顺序对结果影响的假设了嘛，效果怎么样？

puppy2000 commented 6 months ago

作者您好，我也有一个疑问。就是输入图片经过增广后(RandAffine,RandRotate)等，那对称轴应该也会跟着改变，那为什么可以对图像进行水平翻转再融合呢？(可能理解不到位，请您指点一下)

voldemortX commented 6 months ago

作者您好，我也有一个疑问。就是输入图片经过增广后(RandAffine,RandRotate)等，那对称轴应该也会跟着改变，那为什么可以对图像进行水平翻转再融合呢？(可能理解不到位，请您指点一下)

你说的很有道理。但即使不做transform图片中心也不一定是实际中心，所以网络设计上有一个对齐的部分。

puppy2000 commented 6 months ago

作者您好，我也有一个疑问。就是输入图片经过增广后(RandAffine,RandRotate)等，那对称轴应该也会跟着改变，那为什么可以对图像进行水平翻转再融合呢？(可能理解不到位，请您指点一下)

你说的很有道理。但即使不做transform图片中心也不一定是实际中心，所以网络设计上有一个对齐的部分。

好的，我理解了。感谢！

voldemortX commented 5 months ago

The problem seems to be solved, closing issue. Feel free to comment or open new issues.