[논문 리뷰] Semantically Consistent Video Inpainting with Conditional Diffusion Models​

[sghong977]

Semantically Consistent Video Inpainting with Conditional Diffusion Models​

[sghong977]

Intro 전개

기존 VI 관점의 문제 3가지를 반박하면서 시작한다. 실제로 VI 하면서 굉장히 의아했던 부분을 모조리 지적하고 있기에 상당히 흥미로운 논문

1. 기존에는 masked region을 다른 프레임 정보로 채우겠다는 맥락이었으나, 이 관점 자체가 잘못되었다고 지적
   • 기존에는 저 관점에서 flow based or attention based로 풀었다
   • 이 관점이 잘못된 이유는, 실제 많은 inpainting application에서는 occluded region이 다른 픽셀에서 안나타난다 -> 현재 내가 풀고 있는 것도 마찬가지로, object를 계속 가려놓은 상황
2. 또한, 기존 인페인팅들이 "semantic"을 overlook했음을 지적.
   • 아래 그림에서, 네모칸 안으로 진입 / 몇초 뒤 나가는 자동차가 있는데, inpainting task에서는 움직이는 자동차를 추론해야한다는점
3. ill-posed problem이라 occluded region에 대한 generator output이 다양한데, 이게 평가하는데에 있어서도 반영 가능해야한다는 지적

이 논문 contribution?

1. present a framework for using conditional video diffusion models for video inpainting
   • to learn a conditional distribution over possible inpaintings given the observed context
2. long video inference 방법 제안
   • VDM 대부분이 16프레임 기준이라 이거 넘어가면 sliding window쓰는데, 결과가 구렸음

---

Related Works

내가 놓친 논문 있나 보자

1. VI; 이 분야에서 딥러닝 처음 쓴게 2019년도 논문이라서 예전건 잘 모르겠음

   • optical flow 활용
   • Temporally coherent completion of dynamic video (ACM 2016)
   • Deep flow-guided video inpainting. (CVPR 2019)
   • Deep video inpainting (CVPR 2019)
   • Flow-edge guided video completion (ECCV 2020)
   • self attn: STTN(ECCV 2020), FuseFormer (ICCV 2021)
   • Onion-peel networks for deep video completion (OPN) ICCV 2019; 이건 처음봄
   • Copy-and-paste networks for deep video inpainting (ICCV 2019); 이것도 처음..
   • flow + attn 같이 쓴 것: E2FGVI, FGT, ProPainter => 이 논문들이 요즘 SOTA들
   • diffusion 사용한 논문들
   • AVID: text input 같이 받아서 user intervention이 필요함을 지적 (CVPR 2024)
   • FGDVI: 이 연구와 가장 유사하다고 했음.
     • optical flow 사용해서 diffusion step 반으로 줄이는게 contribution이었던 논문인데 이게 E2FGVI대비 10배이상 느림..

2. Diffusion Model을 활용한 Image inpainting 모델들

   • 아래 두가지로 나뉘는데, 이 논문은 후자인 conditional diffusion을 사용한다
   • using an unconditional diffusion model; 샘플링 과정에서 heuristic adjustments를 거치는 접근법
   • Repaint: Inpainting using denoising diffusion probabilistic models. (CVPR 22)
   • Towards coherent image inpainting using denoising diffusion implicit models (ICML 23)
   • explicitly train a conditional diffusion model; 학습이 잘 되었다면, conditional distribution에서 정확한 샘플링을 하도록하는 접근법
   • Palette: Image-to-image diffusion models (SIGGRAPH 22)
     • https://velog.io/@aioptlab/Palette-Image-to-Image-Diffusion-Models 설명
   • Adding conditional control to text-to-image diffusion models. (ICCV 23, ControlNet논문)

diffusion을 잘 모르겠다. conditional diffusion과 unconditional diffusion의 차이를 좀 찾아보고 논문으로 다시 돌아오자

• 그냥 controlNet 설명 보고오면 될 것 같다. https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/controlnet/
• 이 자료 이따 봐야지
  • https://www.youtube.com/watch?v=IXEWqswdW8c
  • http://dmqa.korea.ac.kr/uploads/seminar/[240216]%20DMQA_Openseminar_Controllable%20Diffusion%20Model_%E1%84%8B%E1%85%B2%E1%86%AB%E1%84%8C%E1%85%B5%E1%84%92%E1%85%A7%E1%86%AB.pdf

Preliminary

Conditional Diffusion Model

• 모델은 더해야하는 노이즈를 추정한다. e_0 (=모델 아웃풋)
• gaussian noise e와 원본
  • 원본은 √ ̄ αt만큼 반영하고, 가우시안 노이즈 e를 섞을거다. 분산이 (1 − ̄ α2 t )가 되도록 한다.
  • 시간에 따라 더하는 노이즈는 다르며, 하이퍼파라미터로 조절한다. 1 > ̄ α1 > ... > ̄ αT > 0
• 노이즈 추정 모델에는 control Input이 같이 들어간다. timestep t, and conditioning input y
• 그래서 아래와같이 MSE loss로 training objective가 정의된다.

글쓰다가 날려서 기분 안좋음.. 걍 이거 읽으면 된다

모델은 기본적으로 4D UNet 구조, relative positional encoding

[sghong977]

Long Video 이슈

• naive: 원래 K=16 프레임까지밖에 못만들어서, 그냥 K/2만큼 오버랩해서 sliding window 했음
• Harvey et al.에서 좋은 아이디어가 있다. (Flexible diffusion modeling of long videos. NeurIPS 22)
  • 
  • they train a model to generate any subset of video frames conditioned on any other subset with the objective => 만들 프레임과 condition 프레임 모두 자유로움!
  • 디노이징하려는 프레임 x와 condition으로 넣으려는 y. 그리고 인덱스를 X, Y로 수식에서 표기함.
  • X,Y는 인덱스니까 relative positional encoding 적용!
  • 그러니까, 임의의 position인 (인덱스) X, Y에 대해서 프레임을 생성하는것으로 정의하면? 그러면 long video를 인퍼런스할때 어떻게 샘플링하든 다 가능하다! 굳이 슬라이딩 윈도우만 쓸게 아니라, reference frame을 어디서 가져온다든지 등등을 다양하게... 정의가능해짐!!

• 만들려고 샘플링한 대상이 파란색
• condition에 넣으려는게 갈색
• 흰색: 안만든거 / 회색: 만든거
• 가로: 시간축, N=31까지
• 세로: 각각의 inference stage. top -> bottom 순서로 보면 된다.
  • 8번의 인퍼런스로 31프레임의 결과를 얻은 것임.
  • 한번에 8프레임에만 access 가능

---

Long Video 약간 바꾼 정의

Harvey et at. 정의 약간 바꿔서, 이 논문에서 condition / uncondition에 mask 여부로 나누는게 하나의 contribution이다.

• 위와 색깔 정의는 다 똑같은데 밝은 빨간색 추가됨
• light red: unknown pixel이 있지만 condition으로 넣을 수 있는 프레임을 의미. 왜냐면 아직 인퍼런스는 안했지만 mask로 corrupted되지 않아서 멀쩡한 픽셀이 있기 때문!

[sghong977]

모델 설명

• Harvey et al.의 FDM 사용; 프레임이 아닌 픽셀레벨 마스크를 사용하기 위함

학습

• 비디오, 마스크를 데이터셋에서 샘플링하고, X, Y index를 frame index distribution(Harvey et al 참고)으로부터 샘플링해야함
• model input: combined list of frames X ⊕ Y; ⊕는 concat을 의미
  • MX ,Y := M[X ] ⊕ 1[Y] // 이건 valid mask를 의미하는데, 그래서 condition Y에 대한건 그냥 전부 값이 1임. x는 원래 마스크 쓰고.
• 그러면 우리의 training target은 이렇게 된다. x := V[X ⊕ Y] ⊙ (1 − MX ,Y )
  • 채워야하는 픽셀에 대한 비디오를 의미하는 식.
  • 반대로 우리에게 주어진건 y := V[X ⊕ Y] ⊙ MX ,Y 이렇게됨
  • 

• x = 추정해야하는, 모르는 영역
• y = condition = valid pixels = 아는 영역의 정보 가져온 것
• 모르는 영역에 노이즈 끼얹은거 + 아는 영역 정보 합친거 -> 4D UNet구조인 denoising 모델 태워서 -> noise e 추정!

Q. 그러면 이거 맞는건가? diffusion 몰라서 헷갈림

• 사전에 정의된 어떤 규칙에 의해 결정되는 노이즈값 e가 있음. t에 따라 달라짐
• 그렇게 샘플링한 e값을 이미지 x에 반영해서 수식의 것(마스크 영역에 노이즈 더해진거..)을 계산하고,
• 이걸 입력으로 넣었을때 모델 output을 e0로 정의하고,
• 그 output이 처음에 샘플링했던 e값과 동일하도록 MSE를 training objective로 정의한것?

---

4.4

• long video 인퍼런스 할때, 기존 방법들은 아직 인퍼런스 안한 프레임의 valid pixel들 사용 안했음. 이걸 사용하겠다는 의미
• 그걸 좀 멋지게 수식적으로 쓴 문단임. 학습도 그렇게 했으니깐 엄밀히 말하면 pθ(x, z|y)로부터 결과를 얻지만, 그냥 z에 대한건 버린다는 얘기. 나중에 z에 해당하는 프레임들 인퍼런스 할거니까...

4.5 Sampling Schemes

• 위에 long video에서 나온 내용. 암튼 어떤걸 condition으로 줄지에 대한건 기존 방법들 + unknown 프레임의 known 픽셀 사용하는걸 섞어서 매뉴얼하게 정의해서 여러 실험을 해봤다는 내용이다.
• 아래 그림이 appendix인데, 200프레임 인퍼런스 예시이다.

[sghong977]

"The test sets we use, along with code for processing the original BDD100K dataset and generating masks, will be released upon publication." -> 데이터 처리 코드만 공개하는건지 논문 코드도 공개하는건지... 아직 깃 레포 없음

실험 & 결과

데이터셋

개요

• 기존 object removal에서 많이 쓰던 DAVIS, Youtube VOS
• 추가로 새로운 데이터셋 릴리즈함 (256*256, 10fps): 아예 새로운건 아니고 기존 데이터셋을 활용한 것임

디테일 설명

• BDD100K 데이터셋 사용함
• 10만 비디오, 다양한 기후조건에서 운전하는걸 담은 큰 데이터셋임
• 여기서 5만개를 랜덤샘플했고 마스크도 4가지 방법으로 만듦
  • moving and stationary masks of four types
  • grids, horizontal or vertical lines, boxes, blobs
• 테스트셋 2가지 정의함
  • We include two test sets of 100 video-mask pairs each
  • the first (BDD-Inpainting) containing only grid, line, and box masks
  • the second (BDD-Inpainting-Blobs) containing only blob masks.

또다른 데이터셋: 다른 태스크를 위해

오브젝트 제거와 더하는 것 2가지 태스크를 위해 각각 다른 데이터셋을 정의함.

• mask로 가려진데에 (=생성해야하는것에) 항상 자동차가 없도록 만든 것. maskout=bg only -> background용
• mask로 vehicle 1개가 항상 포함되게 만든 것 -> Inpainting cars용
• 결과
  • Inpainting-Background: 자동차 없애는 task: 솔직히 FGT보다 잘나오진 않는데 비슷하다함. 기존것들이 object removal 특화된 느낌이라...
  • Inpainting-Cars: 자동차 추가(addition) task

자동차 움직이는 semantic까지 생성 가능함

[sghong977]

갑자기 드는 생각...

• 이 논문대로라면 카메라 있는게 아니라 없는 그냥 벽, 배경같은걸 mask 만들어서 학습시켜야하는거 아닌가? 우린 지금 반대로 하는듯??
• Computation: we train one model on each dataset with K = 16. Models are trained on 4× NVIDIA A100 GPUs for 1-4 weeks

[sghong977]

샘플러 저거 논문 봐야겠다 뭔지 모름 https://wikidocs.net/233896#heun