DualFocus: Integrating Macro and Micro Perspectives in Multi-modal Large Language Models - Githubissues

paperswithlove / papers-we-read

3 stars 0 forks source link

DualFocus: Integrating Macro and Micro Perspectives in Multi-modal Large Language Models #17

Open runhani opened 7 months ago

runhani commented 7 months ago

https://arxiv.org/pdf/2402.14767.pdf https://github.com/InternLM/InternLM-XComposer/tree/main/projects/DualFocus

아니! ㅋㅋㅋ 이게 된다고? ㅋㅋㅋ

사람들도 detail한 정보를 확인하기 위해서 보통 확대해서 한번 더 확인해 보지 않나?
MLLM도 질문과 이미지를 통해 정답이 있을 영역을 crop해서 다시 해당 영역을 feature로 LLM에 넣고 답변 한다고?

그렇다면 성능은?

결과들...

결론 및 고찰

[x] 결국 local과 global 두마리 토끼를 잡기 위해서는 뭐라도 해야한다.
[x] scaling on scales 이든, dual encoder이든, 정 안되면 입력 resolution을 키우든
[x] 우리 팀이 만드는 MLLM은 어떤 방법으로 local의 detail한 정보도 놓치지 않고 global한 사진의 정보도 놓치지 않을 수 있을까?