sparse voxel怎么实现的

MCG-NJU / SparseOcc

[ECCV 2024] Fully Sparse 3D Occupancy Prediction & RayIoU Evaluation Metric

https://arxiv.org/abs/2312.17118

Apache License 2.0

277 stars 22 forks source link

sparse voxel怎么实现的 #48

Closed tangtaogo closed 3 months ago

tangtaogo commented 3 months ago

你好，感谢你们这么好的开源工作

我比较困惑怎么从image feat得到multi-level sparse voxel，哪里的代码对应的是multi-level sparse voxel呢，是用什么数据结构表达的multi-level sparse voxel是octree还是什么形式呢，我看SparseOccHead里面似乎没有找到multi-level sparse voxel在哪里，可以帮忙解答下么？感谢🙏

YANG-CY-163 commented 3 months ago

multi-level sparse voxel部分的代码在models/sparse_voxel_decoder.py里，image feat的交互主要是通过SpaseVoxelDecoder里的SparseBEVSampling和AdaptiveMixing实现，可以结合代码理解一下

tangtaogo commented 3 months ago

感谢回复，所以其实没有显示的生成multi-level sparse voxel，是通过sampling来实现的对嘛

YANG-CY-163 commented 3 months ago

有的，SpaseVoxelDecoder里的query_bbox和query_feat就是和voxel对应的，会经过upsample和sparsify操作（具体可以看models/sparse_voxel_decoder.py），sampling和mixing会更新query_feat, 可以看看SparseBEV了解更多细节

tangtaogo commented 3 months ago

非常感谢