runhani
commented
4 months ago AutoAD II: The Sequel – Who, When, and What in Movie Audio Description
- who : 캐릭터 이름 사전 (bank)에서 얼굴인식을 clip feature similarity로 비교하는 쌈빡(?)한 시도 ('산뜻하다'의 전라도 사투리)
- when : 언제 생성해야 하는지를 결정하는 모델
- what : cross-attention 및 perceiver resampler를 사용하는 새로운 모델 제안
Intro
- AD 생성하는데 1분당 $30... 120분 $3600 = 1편당 대략 500만원의 비용이 발생
- visualy impaired 뿐만 아니라 영어 공부하는 사람들, 운전하면서 라디오 처럼 듣는 사람들(?)을 위해 필요하다.
언제 AD를 생성해야 하는지 (대사 중간에 적절하게...) temporal segments 실제 배역의 이름과 감정과 행동이 AD에 들어가야 한다. 배경음악과 대사로 알수 있는 내용은 굳이 설명하지 않아도 된다. (오히려 몰입 방해...) 이전 맥락(context)를 알아야 한다. (굳이 2번, 3번 설명 안하게... long-take scene의 경우 한 배경에서 대화만 할경우 등) 그래서 vision + text + speech + sound등 다양한 multimodal input이 seamless하게 처리 되어야 한다. 그래서 이번 논문에서는 when, who, what에 focus하고자 한다.
What
- flamingo style의 vision과 llm의 cross-attention
Who
- binary classification
When
- binary classification with time duration : <|t00|>,<t|01|>, ... , <|t60|>
그래서 결과는?
- 지갑은 중요한 소재일까? 아닐까?
결론
- 어찌보면 Fully Auto Movie Audio Description을 위한 많은 문제점들 중에
- when, what, who 측면을 해결하고자 하는 3가지 module을 제안하고 평가한 중요한 논문이지 않을까?
- 그런데 정성은 그렇다 쳐도, 정량 점수가 너무 낮은것은 아닌지...
COCO cider : 142 TextCaps : 128 from Paligemma : https://huggingface.co/google/paligemma-3b-pt-224
- 그런데... 정말 사람 대비 몇점 정도 될까? 시각 장애인들은 만족할까?
ESG관점에서 살펴봐야할 오늘의 논문
arxiv : https://arxiv.org/abs/2404.14412 code : https://github.com/TengdaHan/AutoAD
오랜만에 보는 시리즈물?!
자세히 톺아볼 필요가 있다!
AutoAD I
왜 video captioning보다 어려울까?
Details
Architecture
성능