2020. 09. 17 metting

[amy-hyunji]

영화에 대한 설명을 넣으면 poster generate해주는 모델

실용성 부분 데이터셋 문제

문장 넣으면 영화 추천해주는 모델

객관적으로 판단할 수 있을까? 지혜님의 easy version에 대한 논의 genre마다의 style이 많이 차이가 날까 → style transfer 가능? 무언가 많이 바뀔까? 스틸컷을 어떻게 찾을까?

결론

9월 24일 8:30 미팅 예정 주제를 더 찾아서 만나자 + 이전에 논의된 주제 발전 방법 생각해보기 (아래에 issue로 작성할 예정)

[NaJeehye]

New Idea

• 시각장애인을 위한 쇼핑몰만들기 [주요기술] ImageToText (TextToVoice는 이미 잘 만들어진 프로그램을 가져다 쓸 예정) [문제점] 쇼핑몰에 있는 이미지 데이터를 쇼핑몰에서 크롤링해야한다. [필요기술] 1. 단순히 이미지에 적혀있는 한국어 OR 영어 이미지 글자 인식 해당 것의 경우에는 https://aihub.or.kr/aidata/133 에서 이미지를 학습시킬 수 있을 것으로 보인다.
  2. 보여지는 사진을 표현하는 단계까지 표현

[cjs0410]

데이터셋 찾을 떄 참고할만한 사이트 https://www.visualdata.io/discovery New Idea

1. 마스크 낀 사람의 기분(표정) 예측
2. 마스크 쓴 사람의 얼굴 예측 후 출석 체크 등에 활용 필요한 기술: 사람 얼굴의 일부만 가린 사진(주로 눈만 나온 사진)으로 전체 얼굴 파악할 수 있어야함. 문제점: 사이트에서 찾아보니 코로나 영향 때문인지 마스크 관련 데이터셋의 인기도가 높음.

[anybirds]

유튜브 영상에서 웃긴 장면 찾는 AI 영상 도중 갑자기 사람들이 웃음을 터트린다거나 하는 부분을 선택 웃긴 장면의 시작과 끝을 뒷 배경 전환, 새로운 인물 등장 등으로 구분

표정 인식, 음성 인식 기술을 베이스 유튜브 영상과 댓글을 크롤링해 웃긴 장면을 뽑아내 특징을 학습시킬 수 있을 것 같다. 예시 댓글 ) 3:30 ㅋㅋㅋㅋㅋ

[amy-hyunji]

옷 바꾸기

• 데이터셋 mvc dataset, viton dataset
• 단점: 얼굴이 주로 뭉개진다. 아직 성능이 잘 나오는 모델이 많지 않다
• 장점: 한정화 시키면 괜찮을 수도 있다..?

글 style transfer

• 행복한 문장 <--> 슬픈 문장
• 화난 문장 <--> 신난 문장
• unsupervised로 진행할 수 있을 것으로 예상되어 데이터셋 문제는 없을 것으로 보임
• ex) https://arxiv.org/pdf/2005.07617v1.pdf

[amy-hyunji]

Expanding idea from @NaJeehye

• web 형태
• 원하는 홈페이지 선택 (크롤링의 형태가 다양할 것 같으니 우선적으로 하나만 선택 가능하게 실험) - ex. coupang
• 원하는 종목 선택 (ex. 폼클렌징) --> best 10 뽑아오기 --> 빠르게 뽑아올 수 있는 information만 extract해오기(ex. name, brand, price)
• 위 information만 나열하여 보여주기 (--> next click시 next best 10 뽑아오기)
• 이 중 하나 선택시 - web crawling 하여 text & image information extract 해오기
• text & image information 기반으로 지정한 key에 대한 value 채워보기 --> dict 형태로 저장
  • text & image 각각에 대해 information extracting model 필요
  • text는 사실상 crawling information 잘 extract하면 굳이 model 안 써도 될 것으로 예상
  • image
    • https://arxiv.org/pdf/1904.08920.pdf (code: https://github.com/facebookresearch/mmf)
    • https://anandmishra22.github.io/files/mishra-OCR-VQA.pdf (no code)
    • http://www-personal.umich.edu/~syqian/2019/diagnet/diagnet.pdf (code: https://github.com/w-yi/DiagNet)
• 이에 대한 요약본 보여주기
• 아래에 QA 가능한 영역 만들어서 QA task도 진행 가능하게 해주기
  • 1. look at dict
  • 2. 원하는 정보가 dict에 없다면 crawl한 text & image information 보아 답변하기

[NaJeehye]

시각 장애 관련된 어플리캐이션 상황

• 바코드를 읽고 알려주는 것(https://apps.apple.com/us/app/digit-eyes/id376424490)
• 저시력 사용자가 물체를 찍고 해당 것에 대해서 답변을 받는 것(http://iaccessibility.com/apps/low-vision/index.cgi/product?ID=65) 예를 들어서, 해당 물건에 옥수수가 들어있는지, 당근이 있는지에 대해서

지난학기 ppt 상황

• 시각장애 관련 어플은 우리랑 하려던 거 비슷한게 있기는함(https://drive.google.com/drive/folders/1k1yVecP5rqlZLLN2pm9eBFCOLhY29z3Z) 단, 차별점의 경우에는 우리는 쇼핑몰 관련된 것을 집중적으로 해서 살펴보려고 하는 것임

[cjs0410]

VQA 모델 학습시킬 때 사용할 수 있을 것 같은 데이터셋 https://aihub.or.kr/aidata/8006