[DS] llava -> 키워드, 좌표 prompting

[kimdoeon]

📌 Description

llava 사용하여 이미지에서 키워드 추출 후 정제 -> 좌표 추출 -> 그림에 표시

🎈 Goal

$\tiny{구체적인\ 산출물을\ 포함한\ 목표를\ 작성해주세요.}$

llva를 통한 좌표 추출(3개정도)

• 키워드 바탕으로 좌표 추출 prompt engineering
  • 이미지에 있는 keyword수 3,2,1에 따라 prompt 답변 달라짐
  • keyword와 좌표 매칭 필요
  • 좌표 살짝 부정확함.
  • 3개 이미지 테스트 결과 최대 20초 소요

<잘나온 사진>

<파라솔 -> 나무로 인식>

<키워드 3개 중 1개만 인식>

✏️ Todo

$\tiny{목표\ 달성을\ 위해\ 해야할\ 일을\ 세부적으로\ 작성해주세요.}$

• [ prompt 답변이 keyword 개수별로 일정하도록 ]
• [keyword, 좌표 매칭 -> 그림에 표시]
• [추상화에서 객체 추출?]