Project Proposal Day

[HyunjoonCho]

각 주제에 대해 세밀한 검토를 하기 전 우선 아이디어 중심으로 제안

• Paper/Architecture figure to code
  • AI 분야 논문이나 관련 description을 곧 바로 PyTorch 코드로 바꿔주는 프로그램
  • nn.Module을 쌓아 구현하기 때문에 이러한 형태를 학습시킬 수 있을 것 같다는 추측..?
  • Cons. AI paper의 일반적인 format을 모르고, PyTorch 기반의 NN 구현 경험 역시 부족한 상태
    Risk Managing이 어려움
• 패션 커뮤니티 기반 올해의 트렌드 예측
  • 커뮤니티에 올라오는 글들을 분석(NER), 이를 바탕으로 지금의 패션 트렌드 또는 올해의 트렌드를 예측
  • 서비스 형태로 나아가 커뮤니티 대문에, "XX 커뮤니티 유저들은 지금 XX 스타일에 관심을 보이고 있어요"
• Buy the rumor, Sell the news
  • 주식 시장에서 통용되는 문구, 실제로 타당한지 확인 - 새로운 헤드라인을 분석해서 주가 변동 예측
  • 헤드라인 분석 - 실제 주가 변동과의 correlation 분석?
• Annual Report Summarization
  • 미국 annual report는 format이 통일됨(10K form)
  • 영국은 그렇지 않음 - 관련 플젝이 나옴, 대학생으로 추정
  • 우리나라는 어떤지? 실용성은 좋은듯
  • BERTSUM
• Paper Summarization
  • 위와 유사함

[HyunjoonCho]

Proposal report guideline

• Project objective: What is the problem? Why is this problem important/interesting? What will be the final outcome of the project?
• Approach/baselines: Which model are you going to use to address the problem? If you have a baseline model to begin with, why do you think that it fits your problem? Is there evidence? If you need to modify/extend the model, what could be such modifications?
• Plan for training: which datasets are you going to use to train your model? If you plan to collect your own data (although we do not recommend it), how are you going to do it? how big is your data?
• Plan for evaluation: how are you going to evaluate your model? Which datasets and evaluation metrics are you going to use for evaluation?
• Risk management: What are the expected challenges in your project (model, training, evaluation, etc)? If your project doesn't go right, what could be your backup plan? You should be very specific about this item.

[HyunjoonCho]

TODOs

두 개씩 나눠서 조사, 내일 저녁 8시 미팅

• [x] text2code, sell the news @HyunjoonCho
• [x] fashion trend, annual report summarization @nikestussy

[HyunjoonCho]

Buy the rumor, Sell the news

Objective

주식 시장에서 통용되는 문구
뉴스가 공개되기 이전부터 주요 시장 참여자(기관, 외인 등)들은 해당 소식을 파악
뉴스의 공개와 동시에 유입되는 투자 주체들(주로 개인)에게 물량을 떠넘기고 빠진다(혹은 반대로 물량을 쓸어담음)는 이야기
위 명제가 참인지 검증하고 나아가 새로운 기사를 바탕으로 주가 움직임을 예측

Approach

• 헤드라인 및 기사 본문 분석 - 실제 주가 변동과의 correlation 분석
• Text classification
  • Major or minor? 주가 변동에 유의미한 영향을 미치는지 그렇지 않은지 - 퍼센트 또는 시총의 변화량으로 정의
  • Positive or negative? 주가 상승을 초래하는지 하락을 초래하는지 구분
  • 기사의 종류를 더욱 세분화하는 방법도 있겠지만 특색을 잃어버릴 수 있다고 생각함
• 나아가 regression 형태로 실제 변동 수준을 예측 - 이에 대한 text 전처리?
  • stack 질문 - Regression from text data; text vectorize 후 일반적인 regression algorithm 적용
• 최종 서비스: 기사 URL을 받아서 parsing, 기업명 및 헤드라인, 본문을 따서 예측을 진행하고 결과를 display

  Model

  Repo on deep learning text classification algorithms Baseline 제공을 목표로 함, 학습이 빠르고 성능도 준수한 모델은 TextCNN?
  WIP1: 개별 모델에 대한 공부 - 해당 플젝에 적용하기 적절한가
  WIP2: text vectorization 방안 모색, 이후 regression 진행 end-to-end training architecture를 구상(e.g. FCN)하여 한 번에 학습을 진행?

  Dataset

• 기업 종류에 어느 정도 제약을 둠 e.g. 대기업, IT 기업, 특정 섹터 등
  • 대기업 관련 기사가 많고 데이터도 많음
• 신문사 API, 증권 전문 웹사이트 API 통해서 특정 기업군(KOSPI 200/S&P 500)에 대한 기사와 주가 정보를 수집
  • 기존 데이터셋 확인 필요 - 있는 걸 쓰는게 플젝의 완성도를 높이는데 좋음
• major/minor, positive/negative 직접 label
  • 뉴스 발간 당일(장 마감 후 공개된 뉴스라면 다음 날)의 종목 등락률 확인
  • 수치만 확인하면 되니 pandas를 이용해 처리 가능함

    Evaluation

• 직접 제작한 dataset을 기준으로 cross validation
  • classification이 정확한가; cross entropy loss
  • 시기별로 나누거나(연, 분기) 전년 동기 대비로 나눠 평가
• WIP: metric 고도화

  Risk Management

• 업종별, 기업 규모별 차이
• 전체 시장에 영향을 끼치는 이슈와 특정 업종, 특정 기업에 걸치는 이슈를 구분하기 쉽지 않음
  • 계층적 접근? 전체 시장(원자재, 환율) - 업종(플랫폼 규제, 반도체 부족) - 기업(신제품 흥행, 신작 게임 실패)
  • 기사의 유형에 제약? 정치적 이슈는 배제
• 시기별로 장세가 다르게 나타남, i.e. 지난 2년의 데이터를 바탕으로 학습하는게 미래 예측에 유효할까?

결국 변동성에 대한 문제 - 학습 결과를 일반화할 수 있는가?

[archive-cs-minhyuk]

패션 커뮤니티 기반 올해의 트렌드 예측

Project Objective

과거의 스키니진, 아디다스 트랙세트 등 한 시대를 풍미했던 아이템들 현재의 남성 패션은 유래없는 춘추전국시대를 맞이하고 있다. 그 안에서 어떻게 현재 남성 패션의 트렌드를 읽어낼 수 있을까? 이 프로젝트는 대한민국 남성들 사이 많이 이용되는 패션 커뮤니티를 이용해 각 커뮤니티 별 유행하는 패션과 종합적인 트렌드를 예측하는 것을 목표로 한다.

Approach/Baselines

• 각 커뮤니티의 인기글을 모아(크롤링) 본문에 NER model을 적용하여 인기 있는 기업(ORG) 혹은 자주 언급되는 인플루언서(PER) 등의 정보를 얻어낼 수 있음.

• Why NER? 본문 속 우리가 집중하는 정보들은 '기업','사람' 등... -> 골라내기 위해!

• KoBERT를 이용한 한국어 Named Entity Recognition Task https://github.com/monologg/KoBERT-NER

• 기존 Bi-LSTM + Attention Model과 BERT 모델의 성능 비교 https://scienceon.kisti.re.kr/commons/util/originalView.do?cn=CFKO201924664108265&oCn=NPAP13263961&dbt=CFKO&journal=NPRO00383455

Plan for training

• Naver NLP Challenge 2018의 NER dataset -> NER model training 그 이후에 fine-tuning할 예정?

• 디젤매니아/나이키매니아/어미새 등 국내의 패션 커뮤니티 돌며 본문 수집

Plan for evaluation

NER model의 결과는 f1-score로 평가하는 것이 일반적인듯?

Risk Management

• NER model의 accuracy

1. '야상','항공점퍼' 등 키워드 검출을 위한 개체명이 모호함
2. '나이키','구찌'처럼 유명한 브랜드가 아닌 국내 브랜드의 경우 기업명으로 인식될지

• Web Crawling

1. 네이버 카페가 크롤링 지원하는지, 본문 태깅은 잘 되어 있는지 알 수 없음

• Hand-made dataset

1. 학습을 위한 dataset 부족? 실제로 label 가진 dataset 어떻게 만들건지

[HyunjoonCho]

text2nn

Objective

Text to Neural Network: Automated Neural Network builder based on paper/architecture description/diagram
딥개 과제와 유사한 형태 - 특정 NN 구조가 text/table/diagram으로 주어졌을 때 PyTorch 코드로 반환

Reference

• 기본적으로 text를 code로 바꿔주는 과제
  • text2code: jupyter extension
  • WIP: blog post 참고해서 어떤 component 쓰이는지 파악
  • github copilot - 오픈 소스가 아니라 실제로 뜯어볼 수는 없음, 대략적인 architecture 참고
• 사람이 Deep learning paper를 직접 implement하는 과정에 대한 설명
  • Converting deep learning research papers to useful code
• PyTorch Implementations
  • 534 open source implementation of paper
  • 하나씩 뜯어보지 않아 개별 구현의 quality 보장은 어려울듯함

    Risk Management

• Input을 paper로 줄 경우, 매우 어려울 것으로 예상
  • 대안: 구조화된 input으로 제한 e.g. 딥개 과제 illustration
  • 이때 굳이 deep learning이 필요한지, 차라리 classic한 mapping function이 나을지 검증이 필요함
• Modularize: 큰 모델일수록 다수의 모듈로 쪼개어 구현, 이러한 구조는 어떻게 학습하지?
  • 대안: output을 실제 코드가 아닌 구조화된 diagram(딥개 과제), 또는 구현을 위한 guideline으로 대체
  • Expected keywords: text summarization, generation?
  • 비교적 할만해 보이지만 실용성에 의문이 듬
• 데이터셋 제작 역시 쉽지 않음
  • 직접 데이터를 모은다면 PyTorch implementation이 존재하는 paper만 참고할 수 있음
  • license 이슈: 자유롭게 가져다 학습에 써도 되는지, 개발자 승인이 필요한지, 불가능한지 일일이 확인 필요

[archive-cs-minhyuk]

Annual Report Summarization(+Paper Summarization)

Project Objective

대한민국에 분 주식 열풍(가계 보유 주식 1000조원 돌파 등 뉴스) 우리는 기업에 대해 얼마나 알고 투자하고 있는가? 이 프로젝트는 기업의 연간 보고서를 input으로 받아 사람들이 쉽게 읽을 수 있는 요약문을 생성하는 것을 목표로 한다.

Approach/Baselines

Text summarization 기술들 - 추출 요약과 생성 요약

BERT를 기반으로 fine-tuning하는 방식으로(BERTSUM?)

Text summarization의 역사와 BERT+transformer를 적용한 summarization

Fine-tune BERT for Extractive Summarization

Text Summarization with Pretrained Encoders (추출 요약과 생성 요약 모두)

Plan for training

다양한 본문과 요약문 (질문: 꼭 Annual Report 여야 하는가?) WIP

Plan for evaluation

압축률 ROUGE Score: 문서 요약, 기계 번역 등 모델의 성능을 평가하기 위한 지표

Text Summarization에 대한 지표들

Risk Management

• 형식 맞추기 - 전처리 기업마다 annual report 형식이 다른 데에서 오는 문제. 어떻게 일정한 text 형식으로 통일하여 진행할 것인지

• 추출 요약과 생성 요약

• Data set 관련 원하는 형식의 data set을 구하기 어려울 듯??

[HyunjoonCho]

1011 미팅

• Annual Report Summarization 기존 데이터셋에 annual report를 추가해서 BERT, BERTSUM 모델을 학습 -> 요약본을 제시
  한, 영 모델에는 큰 차이가 없음
  annual report - 영어는 일관된 양식, 한국은 기업마다 차이 존재

  • Input: annual report
  • Output: summary of the report
  • 연구주제: fine-tune BERT for annual report summary task
  • Pros
  • 곁가지 개발보다는 모델 개발에 집중
  • Cons
  • tuning이 생각처럼 되지 않았을 때, 있는 데이터셋 + 모델 학습 한 번으로 끝이 날 수 있음

• Buy the rumor, Sell the news
  input = news, output = 주가 변동폭
  text vectorization + vector to numerical value, 두 단계를 하나의 model로 학습 진행

  • Input: 뉴스 헤드라인(또는 본문)
  • Output: 주가 변동폭(예측)
  • 연구주제: sentence로부터 numerical value end-to-end trainable architecture
  • Pros
  • 잘되면 보여줄게 많은 흥미로운 주제
  • Cons
  • 아이디어는 많은데 반해 모델링이 엉성하다
  • 데이터셋을 직접 만드는 과정이 험난할 것으로 예상; 기사 크롤링, 주가 정보 query - 헤드라인만 활용

• Fashion Trend Prediction NER 고도화? "야상", "MA-1" 등 패션 아이템에 대한 태깅을 제대로 하는 것이 목표
  trend prediction에 딥러닝을 적용하는게 아니라 NER을 미리 적용해서 분석(통계적)을 수월하게 만듦

  • Input: 커뮤니티 사이트
  • Output: 올해의 trend
  • 연구주제: ?
  • Pros
  • 흥미로운 주제
  • Cons
  • 크롤링 등 데이터 수집을 직접해야 함