Out of Memory during "Merging the Masks"

Hi, thank you for sharing this excellent work.

I encountered an out-of-memory issue when running the code during the "Merging the masks" stage. My system has 32GB of RAM and 32GB of swap, but the code still runs out of memory early in the process.

I attempted the solution provided in Issue #7, but the problem persists regardless of whether the merge type is set to 'sequential' or 'hierarchical'.

#### Hierarchical
~/my_code/HOV-SG (dev) » python application/semantic_segmentation.py main.dataset=replica main.dataset_path=/home/ubuntu/workspace/dataset/Replica/room0 main.save_path=data/sem_seg/room0
[2024-07-28 19:52:08,172][root][INFO] - Loaded ViT-H-14 model config.
[2024-07-28 19:52:12,736][root][INFO] - Loading pretrained ViT-H-14 weights (checkpoints/laion2b_s32b_b79k.bin).
Creating RGB-D point cloud: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 200/200 [00:14<00:00, 13.60it/s]
Extracting features: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 200/200 [17:38<00:00,  5.29s/it]
Merging 3d masks hierarchically
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [02:11<00:00,  1.32s/it]
th:  0.7252525252525253
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:17<00:00,  3.96s/it]
th:  0.700762729334158
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:40<00:00, 13.62s/it]
th:  0.6768043960008246
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 12/13 [10:53<00:54, 54.48s/it]
th:  0.653887729334158
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                          | 6/7 [31:23<05:13, 313.85s/it]
th:  0.6330543960008246
  0%|                                                                                                                                                                                                | 0/4 [00:00<?, ?it/s]
[1]    2516582 killed     python application/semantic_segmentation.py main.dataset=replica

#### Sequential
~/my_code/HOV-SG (dev*) » python application/semantic_segmentation.py main.dataset=replica main.dataset_path=/home/ubuntu/workspace/dataset/Replica/room0 main.save_path=data/sem_seg/room0            127 ↵ ubuntu@ubuntu
[2024-07-29 08:46:23,681][root][INFO] - Loaded ViT-H-14 model config.
[2024-07-29 08:46:28,274][root][INFO] - Loading pretrained ViT-H-14 weights (checkpoints/laion2b_s32b_b79k.bin).
Creating RGB-D point cloud: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 200/200 [00:13<00:00, 14.47it/s]
Extracting features: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 200/200 [16:58<00:00,  5.09s/it]
Merging 3d masks sequentially
  3%|████▌                                                                                                                                                                               | 5/199 [02:43<2:51:02, 52.90s/it]
[1]  2988673 killed     python application/semantic_segmentation.py main.dataset=replica

For reference, I am running the code with the Replica dataset for room0, which is a relatively small scene. Could you share your settings for running the code or any tips to handle this issue? Any suggestions or advice to resolve this issue would be greatly appreciated. Thanks!

hovsg / HOV-SG

Out of Memory during "Merging the Masks" #10