2024.10.30 - #13 - Vision-Language Model (VLM), Large Spatial Model, PLGS, Niantic Scaniverse

[changh95]

Interesting papers

Meta의 'An Introduction to Vision-Language Modeling'

• https://ai.meta.com/research/publications/an-introduction-to-vision-language-modeling/

VLM Survey paper

• https://github.com/jingyi0000/VLM_survey

Large Spatial Model: End-to-end Unposed Images to Semantic 3D

• https://largespatialmodel.github.io/

Where Am I and What Will I See: AN AUTO-REGRESSIVE MODEL FOR SPATIAL LOCALIZATION AND VIEW PREDICTION

• Generative Spatial Transformer (GST)
• https://arxiv.org/pdf/2410.18962

PLGS: Robust Panoptic Lifting with 3D Gaussian Splatting

• https://arxiv.org/pdf/2410.17505

RANSAC Back to SOTA: A Two-stage Consensus Filtering for Real-time 3D Registration

• https://arxiv.org/pdf/2410.15682

[james-joobs]

Scaniverse 및 3D Gaussian Splatting(3DGS) 기술 분석

Niantic의 Scaniverse 앱은 3D Gaussian Splatting(3DGS) 기술을 활용해 모바일 디바이스에서 실시간으로 고품질의 3D 모델 생성 지원. 뉴럴 렌더링의 복잡성을 줄이고 온디바이스 처리로 발열을 최소화하며 빠른 스캐닝 및 재구성 가능.

1. Scaniverse 앱과 3DGS의 통합

Scaniverse는 LiDAR 센서가 장착된 iPhone 및 일부 Android 기기에서 동작하며, 간단한 스캔으로 사실적인 3D 모델 생성 가능. 3D Gaussian Splatting은 메쉬 기반 3D 재구성 대신, 각 점을 가우시안 분포로 표현하는 "스플랫(splat)" 방식으로 장면을 렌더링함으로써 데이터 구조 경량화와 렌더링 효율성 향상.

• 8th Wall에서 Gaussian Splatting에 대해 더 알아보기

2. Gaussian Splatting의 기술적 배경

Gaussian Splatting은 포인트 클라우드를 가우시안 분포로 모델링하는 뉴럴 렌더링의 한 종류로, 각 스플랫이 위치, 색상, 공분산 등의 파라미터를 가지며 최종 이미지를 렌더링하는 방식 채택:

• 연속적 표현을 통해 앨리아싱 최소화
• 효율적 렌더링으로 고품질 이미지를 빠르게 제공
• 데이터 경량화로 저장 공간 절약
• Niantic 기술 블로그에서 Gaussian Splatting 원리에 대해 자세히 보기

3. MVSplat 프로젝트: 온디바이스 다중 뷰 스테레오 재구성

MVSplat은 3DGS 기술을 활용한 오픈 소스 프로젝트로, 다중 뷰 스테레오 기반의 스플랫 기반 3D 재구성 제공. 주요 특징:

• 온디바이스 처리 지원으로 모바일 기기에서 스캐닝과 재구성 가능
• 효율적 알고리즘을 통한 실시간 처리
• 발열 최소화로 연산 복잡도 낮춤 기술적 기여:
• 다중 뷰 스테레오 기반으로 3D 구조 생성
• 생성된 포인트 클라우드를 가우시안 스플랫으로 변환해 렌더링 효율 증가
• 모바일 GPU 활용 최적화로 실시간 렌더링 지원
• MVSplat 논문에서 자세한 내용 확인

4. RTGS: 효율성 중심 가지치기 및 중심 시야 렌더링

RTGS (Real-Time Gaussian Splatting) 논문에서는 Efficiency-Guided Pruning과 Foveated Rendering을 통해 실시간 성능을 극대화:

• Efficiency-Guided Pruning: 가우시안 스플랫의 중요도 평가 후 가지치기로 연산량 감소

• Foveated Rendering: 인간 시각 모델에 기반해 중심 시야에서 고해상도로, 주변 시야에서 저해상도로 렌더링하여 자원 효율성 향상
• RTGS 관련 연구 논문에서 기술적 내용 확인

5. 모델 경량화와 최신 연구 동향

3DGS의 모델 경량화 및 효율성 제고를 위해 적용되는 다양한 기법:

• 파라미터 양자화로 메모리 사용량 감소
• 공간적 데이터 구조(옥트리 및 BVH) 활용으로 빠른 데이터 액세스
• 적응적 레벨 디테일 (LOD)을 통한 동적 해상도 조절
• GPU 하드웨어 가속으로 렌더링 성능 증대

(실제로 스캐닝 후 결과 링크)

환경 : 아이폰15pro 비행기 모드 스캐닝 시간 : 40여초 프로세싱 소요시간 : 30초 렌더링(사실상 없음) : mileseconds

https://scaniverse.com/scan/e2nuzojgkrxtq543