AutoAD-Zero: A Training-Free Framework for Zero-Shot Audio Description - Githubissues

paperswithlove / papers-we-read

3 stars 0 forks source link

AutoAD-Zero: A Training-Free Framework for Zero-Shot Audio Description #42

Open runhani opened 2 months ago

runhani commented 2 months ago

Some Links

ArXiv : https://arxiv.org/abs/2407.15850 Code : https://github.com/Jyxarthur/AutoAD-Zero TV-AD : https://www.robots.ox.ac.uk/~vgg/research/autoad-zero/#tvad

AD는 뭐예요?

Audio Description : 시각 장애인을 위한 화면 해설 자막
소리에만 의존하여 TV를 시청하는 시각장애인들에게 영상에 대한 이해를 높이기 위해 기존 대사와 BGM 이외의 등장인물의 표정이나 몸짓, 대사없이 처리되는 영상등을 해설하는 자막을 의미
결국 중요한 건 화면에서 누가 (who) 등장하고 무엇을 하는지 (what)
그리고 대사와의 overlap을 줄이기 위해 대사 중간에 들어가는데 자연스러워야 한다.
시각장애인에게는 자막이 음성으로 변환되어 전달 되고
청각장애인에게는 화면해설 대사가 추가 되어 전달 된다.

1,2,3 다음에 4가 아니라 zero라니?!

학습없이? 그리고 SOTA?
Stage 1 : VideoLLaMA2-7B → 인물 이름, 표정, 행동 등 풍부한 text 생성
Stage 2 : LLaMA3-8B-Instruct → AD에 맞게 간결한 한 문장으로 summary (Text-In → Text-Out)

Details

결국 누가 등장하는지 알기 위해서는 얼굴 인식을 해야 하는데 그리고 해당 정보를 VLM (a.k.a. LMM) 에 전달해야 하는데
얼굴 인식 결과를 색깔원 (colored circle)을 frame에 하고 LMM에 전달하면 인식한다고?

얼굴 검출 : RetinaFace 얼굴 인식 : ArcFace (TH : 0.2) 등록 DB : IMDb character bank FR → VideoLLaMA2-7B : colored circle with 8 frames

그리고 왜 AD는 영화에만 하지? 프렌즈나 빅뱅이론 같은 TV series에 하면 안되나?
평가는?

MAD-Eval : Movie Audio Descriptions CMD-AD : Condensed Movie Dataset TV-AD : TV series (프렌즈, 빅뱅이론 등)

장점

학습 없는 이 방법의 장점은 어떤 VLMs 이든 나오면 갖다 낄수 있다는 것이다.
심지어 요즘 매주 새로운 모델이 쏟아 지고 있다. (plug-in)

단점

8 frame 정보만으로 설명을 할 수 있다고? (이전 중요한 대사, 장면 등에 대한 설명은 필요 없나?)
첫번째에서 빠진 설명은 summary할 때 생성할 수 없다. 또한 첫번째에서 수많은 정보가 생성되어 summary 하면서 중요하지 않은 정보가 남을 수도 있다.

Ablations

그럼 video description 만들 때 어떤 정보 까지 넣는게 좋을까? (행동, 상호 관계, 표정, 환경, 배우 복장, 물건과의 상호작용 등)
Action, Interaction, Facial exp. 은 도움이 되는데 나머지 3개는 딱히...

그럼 어떤 LMM과 LLM을 사용하는게 도움이 될까?
Video-LLaVA-7B 보다는 VideoLLaMA2-7B
Gemma2-9B 보다는 LLaMA3-8B가 도움이 됨

다른 방식들은 없나?
Uni-AD, MM-Narrator등 다른 방식들도 있는데... 흠... AutoAD-Zero가 잘된다고 이야기 할 수 있을까?
당연히 finetuned 모델 보다 성능이 떨어지는 건 알겠는데 ... 흠 ...

기타

MM-Narrator: Narrating long-form videos with multimodal in-context learning

Video Understanding 모델 관련 논의해야 하는 내용들

Input 최대 길이? ( 수십 frames, 몇 분?, 몇 시간? )
최종 어떤 set에서 성능을 봐야 할 것인가? (Video Caption? Video QA? AutoAD?)
audio는 포함인가?

AutoAD 관련 논의해야 하는 내용들

얼굴인식은 이미 SKT에서 OpenAPI 및 BTV에 상용화 되어 있다.
한국어에 targeting? 영어 data에 targeting?
만약 한국어로 한다면 GT (배리어 프리 영화들, 시리즈들) 를 받을 수 있는지?
평가를 어떻게 해야 하는지?

CIDEr : TF-IDF 그러나 정말 이 지표를 믿을만한가? CRITIC : 배우 인식 성능 LLM-AD-Eval : LLM을 심판으로 활용해서 생성된 AD와 GT를 비교하는 방법 (1-5점 사이)
여러 평가 set에서 SOTA를 찍는다고 해도 이게 상용 수준인지? (없는 것 보다는 낫다?)