Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

[runhani]

Ferret-UI

https://arxiv.org/pdf/2404.05719.pdf

이전 논문 및 코드

https://arxiv.org/pdf/2310.07704.pdf https://github.com/apple/ml-ferret

Overview

• [x] 애플에서 나온 3번째(?) MLLM 논문
• [x] Large Action Model을 위한 초석일까?
• [x] 결국 UI를 이해하고 조작 가능해야지 많은 쓰임새가 있지 않을까?

What is it?

Architecture

Data Generation