2020.09.11 metting

[amy-hyunji]

미팅 내용

• 주제 선정
  • 영화에 대한 설명을 넣으면 poster generate해주는 모델
  • 문장 넣으면 영화 추천해주는 모델

조사내용

김하준

(주제) 설치, 설명서를 직접하게 해주는 macro 만들기 → github에 있는 readme 따라서 install 하는 모델

이현지

(주제) nlp + 추천 → 하루를 정리할 수 있는 음악, 영화 (dataset) https://www.kaggle.com/jrobischon/wikipedia-movie-plots 
http://aicompanion.or.kr/kor/tech/data.php

최진수

(주제) poster 보고 영화의 전반적인 내용을 추출할 수 있는 모델 (dataset) http://movienet.site/

나지혜

(주제) <실시간 수화 동작> 동영상 (싱크되는 스크립팅이 있다는 전제하에) -> 실시간 수화동작을 보여주기 (해당것이 어렵다면, 그 반대로 실시간 수화동작을 통해서 해석을하는 것은 어떨까?) https://aihub.or.kr/keti_data_board/language_intelligence

<이상행동 CCTV영상> 사업주가 달아놓은 CCTV와 APP을 연동시켜서 사업주가 설정해놓은 이상행동에 해당 것이들었을 경우에는 사업주에게 APP을 통해서 알람이 가도록한다. https://aihub.or.kr/aidata/139


다음 미팅

• 2020.09.17 8시
• 위 2가지 주제에 대해 구체적으로 조사해오기
  • 영화에 대한 설명을 넣으면 poster generate해주는 모델 - 나지혜, 최진수
  • 문장 넣으면 영화 추천해주는 모델 - 이현지, 김하준

[amy-hyunji]

문장 넣으면 영화 추천해주는 모델

감정 분석 nlp model

• bert, electra 같은 pretrained model 사용
• 한국어의 경우 
http://aicompanion.or.kr/kor/tech/data.php 에 있는 single-turn dataset 사용 가능
• 영어의 경우 https://www.kaggle.com/kazanova/sentiment140 이용해서 감정의 분포 얻기 가능

  추천 모델

• collaborative filtering
• content-based

  weakness

• 두 가지 모델을 이어줄 수 있는 데이터셋을 찾기 어려울 것 같다,,? (감정 feature 추천 모델 input으로 넣을 방법..?)
• 추천 모델이 이미 너무 많고 회사를 이길 수는 없다 --> 우리만의 특이점?

영화에 대한 설명을 넣으면 poster generate해주는 모델 -> Text2Img model 들 사용가능

model

• StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
• MirrorGAN
• AttnGAN
• 비슷한 작업
  • https://github.com/siddtheshah/poster-gan (결과가 없음)
  • https://github.com/benckx/dnn-movie-posters (결과가 슬픔..)

    weakness

• poster에는 대체적으로 얼굴이 있을텐데 face generation이 문제없이 될지..?
• 어떤 식으로 input을 주느냐에 대해서도 논의 필요

[anybirds]

문장 내용에 따라 영화 추천해 주는 모델에 대해 생각나는 추가적인 의문점

• 주제에 대해 고민하면 고민할수록, 찾아보면 찾아볼수록 드는 의문점이 많아 두서 없이 기술...

• 문장 내용에 따라 그 사람의 현재 감정을 파악해 영화를 추천해 주는 것이라면, 본인이 어떤 기분인지 정확히 모르는 사람에게만 유용한 서비스가 아닐까? 차라리 기분이나 감정을 명확히 물어보고 그에 따라 알맞은 영화를 추천해주는 것이 나을 수도 있겠다.

• 단순히 사람의 감정과 영화의 장르를 매칭시키는 것이라고 하더라도, 같은 장르의 영화 속에서 또 어떤 영화를 추천할지에 대한 문제 또한 복잡할 수 있다. 같은 액션 영화라도 자동차가 메인인 영화도 있고, 로보트가 메인인 영화도 있다. 일기를 분석해서 영화를 추천하는 것이라면, 보다 더 섬세하게 사용자의 니즈를 파악해 추천해 줄 수 있어야 하지 않을까? 이건 좀 근데 어려울 수 있겠다. 보다 더 섬세한 감정 분석을 가능하게 하려면, SNS 등에서 직접 문장을 가져와 분석해야 할 수도 있지 않을까? https://www.kaggle.com/kazanova/sentiment140 에는 단순히 좋음 / 평범함 / 나쁨 세가지 감정만 구분한다. https://medium.com/neuronio/from-sentiment-analysis-to-emotion-recognition-a-nlp-story-bcc9d6ff61ae 를 참고해 직접 트위터 API를 다뤄야 할 수도 있다.

• 문장 내용을 분석해 수많은 영화의 카테고리(자동차, 로보트, 로맨스, 액션 ...)에 대한 호감도를 각각 분석해 볼 수 있지 않을까? 자동차 20%, 로보트 20%, 로맨스 80%, 액션 60%로 분석한다면 그 비율에 맞춰 로맨스 영화 중 액션 비율이 높은 영화를 최대한 추천하면 될 것 같다. 이걸 하려면 문장에 사용된 단어, 표현, 말투에 따라 사람의 취향을 어느정도 파악할 수 있어야 하는데, NLP를 진득하게 뜯어봐야 할 것 같고 좀 복잡할 것 같긴 하다. 찾아보니 직접적인 자료는 없고, 한다면 트위터 API를 사용해 차 사진을 올리는 등 요소로 차에 관심있는 사람을 찾고, 그 사람들이 쓴 글을 전부 데이터에 넣어 특징을 뽑아낼 수 있지 않을까?

• Collaborative filtering, Content-based filtering는 많은 유저들의 서비스 사용 데이터를 기반으로 한 방식 같은데, 쓰인다면 어떤 방식으로 쓰일지 궁금하다.

• 필요 이상으로 복잡해지고 있는 것 같긴 하지만, 이런 식으로 해야 조금은 차별화된 특이점을 만들어 낼 수 있을 것 같다.

[cjs0410]

poster generate 해주는 모델

사용 가능한 모델

• DC-GAN(GAN의 단점 보완한 모델)
• Deep symmetric structured joint embedding

생각해볼 점

• 어떤 것을 input으로 넣어줄지? 만약 텍스트(영화의 키워드, 장르 등등) 만을 넣어준다면 이것과 관련된 image가 있어야 GAN을 training할 수 있을 듯.
• input으로 스틸컷까지 넣어줄 때 지혜님께서 말하신 대로 style transfer를 해야할 것 같음. sytle tranfer를 할 때는 비슷한 장르의 다른 영화의 포스터를 사용하면 될 것 같음.
• 기존의 포스터와 생성한 포스터 사이의 유사도 혹은 생성한 포스터의 완성도를 객관적으로 판단할 수 있는 방법이 있을까?

참고 https://wujincheon.github.io/wujincheon.github.io/deep%20learning/2018/11/21/text2image.html

[NaJeehye]

영화에 대한 설명을 넣으면 poster generate해주는 모델

영화 포스터 제작 관련 사항

어떻게 만들어지는지는 모르겠지만, 영화포스터가 http://mickstorm.com/ 라는 곳에서 자동으로 생성하는 것같기는함.

또한, 이미지+글귀를 조합해서 https://inspirobot.me/ 라는 곳에서 포스터 비슷한 것을 생성하고 있음.

학습 방법

[Input Data] 제목 +영화 관련 줄거리 정보 + 스틸컷 + 장르정보 + ... [Output Data] 텍스트가 적혀있는 영화 포스터

• Easy version (생성이라기보다는 그냥 조합하기) : 스틸컷을 미리 선정해놓고 (임의로 첫번째 의미지), 이미 알려진 모델을 조합한다. [사전작업]
  1. 각 장르(또는 핵심키워드를 별도로 선정)해서 Style Transfer를 생성
  2. 이미 선정된 스틸컷
  3. 객체 위치에 따른 Text 위치에 대한 모델을 학습시킴
  4. 장르에 맞는 스타일의 Text 폰트 및 사이즈에 대한 모델을 학습시킴

[작업ing]

1. Stype Transfer로 이미 선정된 스틸컷을 변경
2. Text위치에 대한 모델을 통해서 변경된 스틸컬 이미지에 알맞은 Style의 Text 를 넣음

[사용될 모델] Style Transfer : GAN Object Detection (또는 Bounding Box Regression(Localization))

[평가] 스틸컷 선정 부분만 바꾸면, 더 나은 방법의 데이터 데이터 학습 방법이 될 수 있을 것같은데, 해당부분은 현지님께서 찾으신 https://github.com/siddtheshah/poster-gan 에서 참조할 수 있지 않을까? (아직 자세히 코드를 보진 못했음)

• Hard version (아마 우리가 본래 의도했던 바로 그것)

http://mickstorm.com/ 여기서 어떻게 생성을 했는지에 대한 것을 자세히 조사하면 나올 것같음. https://twitter.com/mickstorm 으로가면 개발자 정보가 나오기에 해당 사항에 대해서 궁금하면, DM을 날려야하지 않을까 싶음

Generated Result를 평가하는 방법에 대한 생각

• Easy version

[사전작업]포스터 -> 장르 예측관련 모델을 만듦

[사후작업]우리가 만들어낸 이미지 -> 장르예측모델과 잘 맞아 떨어지는지를 통해서 평가

• Hard version

[사전작업] 포스터를 통해서 키워드와 분위기 등의 ImageToText 를 뽑아냄

[사후작업] 뽑아낸 이미지의 KeyWord와 Model의 Input Text의 유사도를 기반으로해서 평가

전반적인 생각

• 객관적인 평가 방법을 통해서 만들어낸 모델을 평가하는 작업까지하면, 청자들을 설득력 있게 호소할 수 있는 좋은 요소가 될 것이라고 생각한다.

• 하지만, Generate 자체의 어려움이 걱정이 됨.

  만약에 하다가 어려울시에는 Hard version의 평가방법만 살려서, 내가 만든 포스터가 잘 만든 것인지 평가하는 거 정도로만 그쳐야할 수도 있을 듯하다. (아니면, 조금 비틀어서 유투브 썸네일 평가를 하는 모델로 변화시킬 수 있지 않을까?)