Open amy-hyunji opened 3 years ago
주제에 대해 고민하면 고민할수록, 찾아보면 찾아볼수록 드는 의문점이 많아 두서 없이 기술...
문장 내용에 따라 그 사람의 현재 감정을 파악해 영화를 추천해 주는 것이라면, 본인이 어떤 기분인지 정확히 모르는 사람에게만 유용한 서비스가 아닐까? 차라리 기분이나 감정을 명확히 물어보고 그에 따라 알맞은 영화를 추천해주는 것이 나을 수도 있겠다.
단순히 사람의 감정과 영화의 장르를 매칭시키는 것이라고 하더라도, 같은 장르의 영화 속에서 또 어떤 영화를 추천할지에 대한 문제 또한 복잡할 수 있다. 같은 액션 영화라도 자동차가 메인인 영화도 있고, 로보트가 메인인 영화도 있다. 일기를 분석해서 영화를 추천하는 것이라면, 보다 더 섬세하게 사용자의 니즈를 파악해 추천해 줄 수 있어야 하지 않을까? 이건 좀 근데 어려울 수 있겠다. 보다 더 섬세한 감정 분석을 가능하게 하려면, SNS 등에서 직접 문장을 가져와 분석해야 할 수도 있지 않을까? https://www.kaggle.com/kazanova/sentiment140 에는 단순히 좋음 / 평범함 / 나쁨 세가지 감정만 구분한다. https://medium.com/neuronio/from-sentiment-analysis-to-emotion-recognition-a-nlp-story-bcc9d6ff61ae 를 참고해 직접 트위터 API를 다뤄야 할 수도 있다.
문장 내용을 분석해 수많은 영화의 카테고리(자동차, 로보트, 로맨스, 액션 ...)에 대한 호감도를 각각 분석해 볼 수 있지 않을까? 자동차 20%, 로보트 20%, 로맨스 80%, 액션 60%로 분석한다면 그 비율에 맞춰 로맨스 영화 중 액션 비율이 높은 영화를 최대한 추천하면 될 것 같다. 이걸 하려면 문장에 사용된 단어, 표현, 말투에 따라 사람의 취향을 어느정도 파악할 수 있어야 하는데, NLP를 진득하게 뜯어봐야 할 것 같고 좀 복잡할 것 같긴 하다. 찾아보니 직접적인 자료는 없고, 한다면 트위터 API를 사용해 차 사진을 올리는 등 요소로 차에 관심있는 사람을 찾고, 그 사람들이 쓴 글을 전부 데이터에 넣어 특징을 뽑아낼 수 있지 않을까?
Collaborative filtering, Content-based filtering는 많은 유저들의 서비스 사용 데이터를 기반으로 한 방식 같은데, 쓰인다면 어떤 방식으로 쓰일지 궁금하다.
필요 이상으로 복잡해지고 있는 것 같긴 하지만, 이런 식으로 해야 조금은 차별화된 특이점을 만들어 낼 수 있을 것 같다.
poster generate 해주는 모델
사용 가능한 모델
생각해볼 점
참고 https://wujincheon.github.io/wujincheon.github.io/deep%20learning/2018/11/21/text2image.html
어떻게 만들어지는지는 모르겠지만, 영화포스터가 http://mickstorm.com/ 라는 곳에서 자동으로 생성하는 것같기는함.
또한, 이미지+글귀를 조합해서 https://inspirobot.me/ 라는 곳에서 포스터 비슷한 것을 생성하고 있음.
[Input Data] 제목 +영화 관련 줄거리 정보 + 스틸컷 + 장르정보 + ... [Output Data] 텍스트가 적혀있는 영화 포스터
[작업ing]
[사용될 모델] Style Transfer : GAN Object Detection (또는 Bounding Box Regression(Localization))
[평가] 스틸컷 선정 부분만 바꾸면, 더 나은 방법의 데이터 데이터 학습 방법이 될 수 있을 것같은데, 해당부분은 현지님께서 찾으신 https://github.com/siddtheshah/poster-gan 에서 참조할 수 있지 않을까? (아직 자세히 코드를 보진 못했음)
http://mickstorm.com/ 여기서 어떻게 생성을 했는지에 대한 것을 자세히 조사하면 나올 것같음. https://twitter.com/mickstorm 으로가면 개발자 정보가 나오기에 해당 사항에 대해서 궁금하면, DM을 날려야하지 않을까 싶음
[사전작업]포스터 -> 장르 예측관련 모델을 만듦
[사후작업]우리가 만들어낸 이미지 -> 장르예측모델과 잘 맞아 떨어지는지를 통해서 평가
[사전작업] 포스터를 통해서 키워드와 분위기 등의 ImageToText 를 뽑아냄
[사후작업] 뽑아낸 이미지의 KeyWord와 Model의 Input Text의 유사도를 기반으로해서 평가
객관적인 평가 방법을 통해서 만들어낸 모델을 평가하는 작업까지하면, 청자들을 설득력 있게 호소할 수 있는 좋은 요소가 될 것이라고 생각한다.
하지만, Generate 자체의 어려움이 걱정이 됨.
만약에 하다가 어려울시에는 Hard version의 평가방법만 살려서, 내가 만든 포스터가 잘 만든 것인지 평가하는 거 정도로만 그쳐야할 수도 있을 듯하다. (아니면, 조금 비틀어서 유투브 썸네일 평가를 하는 모델로 변화시킬 수 있지 않을까?)
미팅 내용
조사내용
김하준
(주제) 설치, 설명서를 직접하게 해주는 macro 만들기 → github에 있는 readme 따라서 install 하는 모델
이현지
(주제) nlp + 추천 → 하루를 정리할 수 있는 음악, 영화 (dataset) https://www.kaggle.com/jrobischon/wikipedia-movie-plots http://aicompanion.or.kr/kor/tech/data.php
최진수
(주제) poster 보고 영화의 전반적인 내용을 추출할 수 있는 모델 (dataset) http://movienet.site/
나지혜
(주제) <실시간 수화 동작> 동영상 (싱크되는 스크립팅이 있다는 전제하에) -> 실시간 수화동작을 보여주기 (해당것이 어렵다면, 그 반대로 실시간 수화동작을 통해서 해석을하는 것은 어떨까?) https://aihub.or.kr/keti_data_board/language_intelligence
<이상행동 CCTV영상> 사업주가 달아놓은 CCTV와 APP을 연동시켜서 사업주가 설정해놓은 이상행동에 해당 것이들었을 경우에는 사업주에게 APP을 통해서 알람이 가도록한다. https://aihub.or.kr/aidata/139
다음 미팅