MyStraw / 9oz-project

0 stars 1 forks source link

데이터)잠재벡터 추출전 처리고려 #10

Open MyStraw opened 1 year ago

MyStraw commented 1 year ago

의류이미지가 옷걸이에 걸린것도 있고, 옷걸이에 2벌이상 걸린것도 있고 옷을 착장한 사람이미지가 있고, 마네킹에 입혀진 이미지가 있다

이걸 그냥 잠재벡터로 뽑아서 군집화 해버리면 옷걸이는 옷걸이끼리, 마네킹은 마네킹끼리, 사람은 사람끼리 묶어버릴 가능성이 크고 옷이라는것에 집중되어 군집화되지 않을수있다

그래서 이 옷만 따로 인식해서 잠재벡터를 뽑고 군집화를 시켜야 옳을것.

이 방향에 대해서 생각해봐야 한다.

그리고 군집화 개수에 대해서, 군집화를 눈으로 확인할수 있는 방법을 찾기

MyStraw commented 1 year ago

나인온스의 이미지 1개를 선택했을시 퀸잇의 이미지들과 비교를 하는것 나인온스의 모든 이미지를 잠재벡터 처리하고 군집화할 필요는 없다.

다만 17729개의 나인온스의 모든 이미지를 잠재벡터 처리를 미리해서 DB에 저장을 한다면 일 한가지를 줄일수도 있지 않을까.

선택된 A의 이미지에서 추출한 잠재벡터 1개를 B의 군집들과 비교를 해 가장 비슷한 군집을 찾고 군집 내에서도 랭킹을 매겨 가장 비슷한애를 고를수 있다

그 방법으로는

군집 내에서 선택된 A 이미지와 가장 유사한 B 이미지를 찾을 때 사용할 수 있는 여러 방법이 있다

거리 메트릭 사용

MyStraw commented 1 year ago

Yolo로 옷만 판별한다던가 다른 누끼따는 모델을 이용해서 전처리가 필요해 보인다 오토인코더로 쓸 VGG16을 선택. 디코더까지 필요가 없으니 이걸 선택했다. 레이어 하나하나 쌓아가는 모델을 3개정도 만들어 봤으나 VGG16보단 못했다

결과를 좋게 나오게 하려면 오히려 이런부분보다 데이터 전처리를 열심히 하는게 더 잘나올듯 싶다

loss 가 0.5~0.6으로 상당히 높다

MyStraw commented 12 months ago

Yolo를 쓰려다가, 누끼만 따주는 remove 라이브러리를 이용 배경제거 전처리를 이용했다. 결과는? 나아졌다고 보긴 어렵지만 원본 그대로 이용하는것보다는 좋다고 판단.