아이디어 & 리서치

[eubinecto]

테마

• 거인의 어깨위에 서자!

아이디어

• 도연님: 스캔화된 사진속에서 원하는 키워드 찾는 시스템 (카메라로 찍은 or 사진첩 사진들 속 원하는 키워드 찾기) 검색창에 내가 원하는 단어(키워드)를 입력함 -> 그 뒤 사진첩 안에 있는 사진들을 opencv를 이용해 문서화(스캔화)해줌 -> -> 그럼 이제 찾고자 하는 단어랑 스캔화된 사진 속 단어랑 비교를 한 후 검색함(여기서 사용되는 기술이 궁금함)
  • 자전거 -> 자전거를 타고 있는 내모습. (e.g. google photos 편향 - 흑인을 고릴라로 분류를 해서 문제가 있었던). 그후 원하는 키워드가 들어있는 사진을 찾아줌
• 경서님: 커뮤니티 내에서 특정단어가 실시간으로 얼마나 나오는지 알아보는 방법
  • e.g. 네이버 실시간 검색랭킹? - 이런느낌.
• 진환님: 작사 알고리즘도 가능한가요? -. 이번
• 민서님: 합법 토토 마냥 스포츠 경기 뉴스 예측하는 것은 가능한가요? - 불가능.

실현가능한 것인가 (인공지능관련 아이디어)?

• 사람이 빠른시간안에 해결할 수 있는 문제면 인공지능으로 자동화하는 것은 쉽다 (Andrew Ng).
  • 스캔화된 사진속에서 원하는 키워드 찾는 시스템 -> 단시간안에 할 수 있음 -> 가능함. -> google photoes
  • 커뮤니티 내에서 특정단어가 실시간으로 얼마나 나오는지 알아보는 방법 -> 충분히 가능합니다.
  • 작사 알고리즘도 가능한가요 -> 충분히 가능함 -> 따라하는건 쉽게 될 것 같은데, 높은 퀄리티의 출력값은 생각 힘들 것.
  • 민서님: 합법 토토 마냥 스포츠 경기 뉴스 예측하는 것은 가능한가요? - 사람도 못하므로 인공지능이 잘할수 있을 것이라는 기대는 좋지 않다.

프로젝트 준비

• [x] 프로젝트를 클론
• [x] 가상환경생성
• [x] .gitignore 에다가 가상환경은 버전컨트롤 하지 않도록 추가해준다.
• [x] 다른 사람들이 프로젝트를 클론할때,어떤 파이썬 라이브러리가 필요한지 확인할 수 있도록, requirements.txt 파일을 만들어주어야 한다.
  • 프로젝트를 만드는 사람: pip freeze > requirements.txt
  • 프로젝트를 클론하는 사람:pip install -r requirements.txt
• [x] 리포안에, 리포 동명의 파이썬 패키지를 만들어주세요! - best practice
• [x] 파이썬 패키지 안에, examples 폴더를 만들어, 새로운 라이브러리를 배울 때 사용하세요!
  • 제가 만든 examples

내가 하고 싶은게 뭐지?

• 진환님: 작사 알고리즘.
• 입력 = 문장. (가사1)
• 출력 = 또다른 문장. (가사2)
• 나는 번역의 문제를 보고 있는 것이구나.
• 이걸 파악을 하면, 이제 거인의 어깨에 올라갈 준비가 된겁니다.

다른사람들은 어떻게 했나?

• 아무리 멋진 아이디어라도, 겸손해지자. 지구상 어딘가에 누군가는 똑같은 아이디어를 떠올렸고, 우리는 그 사람의 연구를 발판삼아 더 멋진 아이디어로 만들어내면 된다
  1. 번역은 어떻게 풀지?
     • 프로그래밍 언어 -> 자연어 번역을 시도한 논문이 있다 - Sorry, i don't speak SPARQL: translating SPARQL queries into natural language
     • 거대언어모델을 활용한 논문 - https://storage.googleapis.com/pub-tools-public-publication-data/pdf/33278.pdf

2. 노래가사생성은 어떻게 하지?
   • 오토인코더 활용 - Generating lyrics with variational autoencoder and multi-modal artist embeddings -gan 활용 - Creative GANs for generating poems, lyrics, and metaphors

프로토타이핑 - 라이브러리의 도움

• transformers: https://huggingface.co/transformers/
• pororo: https://github.com/kakaobrain/pororo

transformers를 사용해보니, 텍스트에서 또다른 텍스트를 생성할 수 있는 방법이 있더라.

text2text_generator = pipeline("text2text-generation")
# text 에서 text를 생성해내는 것이 가능할 것.
ans = text2text_generator("question: What is 42 ? context: 42 is the answer to life, the universe and everything")
print(ans)

라이브러리로 할수 없는 것들을 리스트 업

• transformers로는, 일반적인 텍스트에 대응할 수 있지만,
• 노래가사에 대응하는 능력은 약하다.
• 이 문제점을 인식을 하면 -> 리서치를 한 논문으로 돌아가서

그리고 다음은... 이제 본격적인 공부!

• 라이브러리로 해결할 수 없는 것들을 논문에 대한 이해를 바탕으로 채워넣는다!

[eubinecto]

---

9월 1일 어제 삽질했던 이문제가, 이렇게 풀면 더 쉽게 풀리더라.