2024.08.07 - #3 - Figure 02, InstantSplat, BADROBOT, COIN-LIO, Universal Manipulation Interface

[changh95]

Interesting papers

• InstantSplat 코드 릴리즈
  • DUSt3R 기반 초기 포즈 검출
  • BARF와 비슷한 pose-refinement
  • 6장 -> 5분간 DUSt3R + 렌더링. RTX 2080 Ti.

https://github.com/user-attachments/assets/79c12d0f-c4c2-46f3-9ad6-07f119f7ce67

• Street Gaussians 코드 릴리즈

https://github.com/user-attachments/assets/c38d6df6-00f9-4b90-921f-7d68c05fa4fc

• Moon 2024 - Expressive Whole-Body 3D Gaussian Avatar, ECCV 2024

https://github.com/user-attachments/assets/aebb88bd-d714-4289-8364-a60aa112073f

• DPVO
  • 딥러닝 기반 VO
  • Zachary Teed (DROID-SLAM의 저자)의 최신 논문
  • 딥러닝 기반의 patch feature를 recurrent neural network로 트랙킹함
  • RTX-3090, 평균 60FPS / 4.9GB VRAM

• i-Octree: A Fast, Lightweight, and Dynamic Octree for Proximity Search
  • 기존의 KNN search 보다 훨씬 빠름

Industry news

• Figure 02

Awesome repo

• Awesome LiDAR Mapping

[james-joobs]

Interesting papers

1. Distributed Simultaneous Localisation and Auto-Calibration using Gaussian Belief Propagation

문제점 설명

• 협력 작업 시 다중 로봇 시스템 필요
• 위치 추정 시스템에 대한 연구는 단일 로봇이 위주이나 다중 로봇일 경우 동적인 상황과 복잡성을 충분히 해석하기 어려움

제안 시스템 분산 처리 포즈 그래프 최적화(Distributed PGO)과 Gaussian Belief Propagation (GBP) 제안

• PGO 변수 노드 + 팩터 노드 로 구성된 이분 그래프 구성. 변수 노드는 로봇의 포즈 또는 센서 교정값. 팩터 노드는 이러한 변수들 사이의 관계(센서 측정값) 팩터 그래프에서 마지널 분포를 추정. 이 과정은 노드 간 메세지를 주고 받음.

• GBP 모든 팩터와 변수가 가우시안 분포를 따른다고 가정. 이는 계산을 단순화, 연산을 빠르게 함 GBP에서 정보 벡터와 정보 행렬을 가운시안 분포로 표현. 이는 메세지 전달에 중요한 역할을 함 측정 모델은 관측 모델을 통해 측정 오차를 모델링. 로봇의 실제 센서 측정과 관측된 데이터 사이의 차이를 정량화

Gaussian Belief Propagation for Distributed Inference

• 로봇 각각 독립적으로 팩터 그래프를 유지하면서 정보 교환. 로컬에서 GBP 알고리즘을 실행. 이 분산 처리 시스템은 전체 팩터 그래프를 중앙에서 처리하지 않고 각 로봇이 자신의 로컬 정보만 이용하여 위치를 추정 + 센서 교정

Problem Formulation

• 다중 로봇 위치와 센서 교정을 동시에 추정하는 방법은, 각 로봇의 자신과 다른 로봇의 센서 및 마커의 상대적 위치를 계산. 이 데이터를 기반으로 각 로봇 로컬의 위치와 센서의 외부 교정을 동시에 최적화

Adaptive REulariser on the Factor

• GBP 알고리즘을 활용하여 정규화 요소를 추가, 알고리즘 수렴에 이점이 있음. 로컬 최적화 과정에서 발생할 수 있는 문제 최소화
• 적응형 정규화란? GBP의 수렴을 가속화하여 팩터의 변화에 따라 동적으로 조정. 로컬 최적화는 각 로봇에서 수행된 독립적인 팩터 그래프를 최적화하여, 전체 네트워크의 다른 부분과 동기화할 필요 없이 로컬 데이터에 기반하여 결정

2. BADROBOT: JAILBREAKING LLM-BASED EMBODIED AI IN THE PHYSICAL WORLD 실체화된 AI는 실제 세계에서 객체를 조작하고 작업을 수행할 수 있음. 이 능력은 대규모 언어 모델(LLM)을 통합함으로써 상당히 발전, 정교한 언어 이해 및 상호 작용 능력을 제공

Risk Surfaces

• Cascading vulnerability propagation LLMX이 탈옥될 수 있는 가능성 염두. LLM이 악의적인 입력에 의해 조작되면 물리적으로 위험한 행동을 할 수 있음. 예를들어 욕설, 불법 행위 지시 같이 악의적인 컨텐츠를 생성하면 이는 물리적 행동으로 확장될 수 있음

• Cross-Domain Safety Misalignment LLM이 작업 계획자로서의 역할을 수행. JSON, YAML 형식의 실행 가능한 액션 출력을 생성할 수 있음. 이러한 구조화된 외부 로봇 도구와 ㅌ통합되어 실행되는데 LLM은 윤리적인 기준은 준수하더라도, 행동 공간에서는 유지할 수 없을 수도 있음.

• Conceptual Deception (기만) LLM은 토큰 확률 분포에 의존하는 계획 생성 방식임. 논리성을 보장할 수 없음. 예를들어 "사람을 독살하라" 직접적인 명령은 거부하더라도, "독을 사람의 입에 넣어라"와 같은 일련의 겉보기에는 무해한 지시를 수행할 수도 있음.

위협 모델

• 공격자의 능력 : 공격자가 AI 시스템과 현장에서 상호작용이 가능할 경우, 시스템을 현장에서 즉시 탈옥할 수도 있음.
• 공격자의 목표 : 공격자가 텍스트 출력에 의한 악의적 행동이 아닌 물리적 행동을 계속 유도하도록 하는 것을 목표.

실체화된 AI 시스템 정의

• 언어처리, 행동 생성, 세계 지식, 안전 제약 조건의 집합 입력은 언어, 시각 데이터, 센서 데이터를 받음. 출력은 행동 생성임. 이 과정은 각각의 함수를 지님. 안전 제약 함수는 안전성을 평가. 0은 불안전, 1은 안전

연구 방법 Jailbreaking Exploit : 언어, 행동 모두다 안전하지 않은 상태를 나타냄. 안전 시스템이 완전히 실패한 케이스. Safety Misalignment : 언어 출력은 안전하나, 행동 출력이 안전하지 않은 경우. Conceptual Deception : 언어 출력은 안전하나. 불완전한 세계 지식으로 발생하는 안전하지 않은 물리적 행동

[ImJaewooChoi]

Universal Manipulation Interface In-The-Wild Robot Teaching Without In-The-Wild Robots

• AI 학습에 있어서 가장 중요한 부분인 Data가 로봇 task분야에서는 타 task에 비해 부족한 상황.
• 이러한 부분을 보충하고자 인간의 실제 환경 시연을 로봇이 배울 수 있도록 데이터 수집 및 정책 학습 프레임 워크 제공.
• 특정 로봇에 종속되지 않고, 다양한 로봇 플랫폼에 적용 가능한 독립적인 정책 학습.
• Gopro 카메라와 손잡이형 gripper를 사용하여 데이터 수집.
• Fisheye lens랑, 카메라 좌우에 거울을 두어, stereo camera와 비슷한 효과를 얻는 방식.
• ORB SLAM3를 활용하여, trajectory를 통해, action data 수집.
• 다양한 복잡한 조작 작업 수행 가능( 설거지, 공 던지기 등)
• 새로운 환경과 물체에 대한 generalize 입증.

[RT-1: ROBOTICS TRANSFORMER FOR REAL-WORLD CONTROL AT SCALE](https://arxiv.org/pdf/2212.06 817)

• Transformer기반 모델로 자연어 지시와 이미지를 입력받아 로봇의 action을 출력. **
  • 연속된 6장의 이미지 & 명령어 처리
  • 시각 정보 처리(EfficientNet)
  • Universal Sentence Encoder + FiLM으로 명령어 의미 파악
  • FiLM으로 시각 정보 처리 방식 조절
  • 정보 압축(TokenLearner): 필요한 정보만 골라내어 압축
  • Transformer
  • 압축된 시각, 명령어 정보 종합 및 시간에 따른 변화도 고려
  • 로봇 action 결정.
    **
• 17개월동안 13대의 로봇으로 130,000개 이상, 700+ 다양한 작업 지시의 데이터 셋 수집 및 훈련.
• 700+ 지시 성공률 97%
• 새로운 작업, 물체, 환경에 대한 일반화 능력이 뛰어남.

Figure 02 Figure02

[U-AMC]

Interesting papers & Demos

COIN-LIO

터널이나 평지와 같이 기하학적으로 열악한 환경에서 기존 방식이 종종 실패하는 LiDAR 관성 주행 거리 측정(LIO)을 개선

• 이미지 처리 파이프라인: LiDAR 강도 데이터를 밝기 일관성이 개선된 필터링된 이미지로 변환
• Point Cloud 에서 정보(혹은 measurement)가 없는 방향을 감지하고 상호 보완적인 이미지 패치를 선택

1. Projects LiDAR intensity returns into an image.
2. Uses a novel filtering method to improve image quality and consistency.
3. Selects 5x5 pixel patches based on geometrically complementary information.
4. Integrates photometric residual into the Kalman Filter update.

• 평가: Newer College Dataset, ENWIDE라는 새로운 맞춤형 데이터 세트에서 테스트

---

https://github.com/user-attachments/assets/48cecfa9-5775-4d1b-b086-f5c460f21b73

Demo by Naoki Akai

• 프레임 간 스캔 매칭으로 궤적을 보정하는 SLAM을 간단하게 구현
• 루프 검출의 정확도에 의존하지 않는 만큼, 이 방법이 더 정확한 지도를 만들 수 있을 것 같다는 간단한 분석
• 1바퀴를 돌고 시작 지점으로 돌아오면 첫 번째 프레임이 약간 수정되어 있음
• 애초에 LIO의 이동 궤적 추정 정확도가 높고, SLAM 쪽에서 광범위하게 수정을 계속하고 있기 때문에 오차가 수정되었는지 아닌지 알기 어렵다는 주장

GTSAM-Points