ML Study 2019~2020

[dingdongx2]

190126~

[dingdongx2]

190126 (토)

장소 : 강남 카페나인

진행

• trello 생성 : link
  • 두가지 version으로 만들기로 함 (Hyuk, William)
• git repo 생성 : link

계획

조금 더 상세히 생각해보도록 함

[dingdongx2]

190210 (일)

장소 : 강남 카페나인

진행

데이터 파싱 방식에 대해 의논함.

• JSON으로 문제/본문/보기/답 형식으로 하자는 의견이 나왔으나 모델 학습에 문제 풀이는 필요치 않다는 결론 하에 본문 만을 파싱하기로 결정함
• text형식으로 doc은 \n기준, 단락은 \t기준으로 저장하기로 함.

데이터 수집을 시작함.

• 19년도 특강/특강_독해/완성 pdf에 어려움을 겪을 뻔했으나 hwp를 구할 수 있어 무사히 파싱이 가능했다.
• parser 작성 중
• 14-19년도 수능/모의/특강/완성 pdf까지 수집함

계획

• parser 완성
• conherence 논문 읽기
• 유형 별 어떻게 해결해야 할지 고민 시작
• test set 번역 전처리

[warmwall]

190217 (일)

장소: 강남 카페나인

진행

필요한 모델 의논

• 모델을 일치불일치, 감정 분석, 문장 간 연관성, 지칭 추론으로 나누었음
  • 일치불일치: ???
  • 감정 분석 모델: 긍부정 분석 등 응용, 단어 단위로 처리
  • 문장 간 연관성: CNN 모델을 응용
  • 지칭 추론: 온톨리지 활용
• 답안지 번역은 Papago 사용

계획

• 도표 및 본문을 잘 뽑아낼 수 있는 방법 찾기
  • 한글/영어를 동시에 사용할 수 있는 OCR 툴
  • pyOCR
• Text Coherence 모델 개발 기획
  • 사용할 네트워크 설정

Input

1. 모델 선택
2. 문제
3. 문제 유형
4. 본문
5. 보기

[dingdongx2]

190218 (월)

장소 : 왕십리 아리가또

진행

• Study2019에 논문 기록 시작 : link
  • 스터디가 있을 때마다 과제로 논문 한 편씩 summary
  • 최대 5줄 이내로 요약.
  • 기존 발표와는 달리 상대방이 아닌 스스로에게 논문을 상기시키기 위함
  • 목적 :
  • 영어 논문을 빠르게 읽게 한다
  • 핵심 내용만을 짚고 술술 넘어갈 수 있다
  • 다시 봤을 때, summary만 보고 혼자서 대략적으로 내용을 짐작할 수 있다
• 논문을 몇 개 찾아보았으나 딱 알맞는 논문을 찾지 못하였다.
• BD-SEARCH 스터디의 의의에 대해 유익한 점을 논의하였다.

계획

• text coherence에 관련된 자료 및 논문 검색

[warmwall]

190306 (수)

장소: 강남역 카페나인

진행

• Tensorflow-tutorial 설명
  • 간단한 행렬 덧셈/곱셈부터 Linear Regression, Word2Vec까지 기본적인 행렬 연산을 가지고 구현
  • loss 함수(cross-entropy 등)
  • 정확히 알지 못하던 기본 개념을 복습하는 과정
• TextCNN 관련 논문 설명
  • 모델의 구조 및 실험 방법, 의의 기준
• Text Coherence에 대한 논의
  • 목적에 따라 text coherence를 판단하는 기준은 달라질 수 있다
  • 한 글 내 한 문장만 coherence하지 않다면, 이 글 전체를 coherence하다고 볼 수 있는가

계획

• 프로젝트와 관련된 논문 찾기 (⭐️)
• 공부한 것 보고하기

[warmwall]

190317 (일)

장소: 강남 카페나인 등

진행

• Wiki 정리
  • 기존 문제점: 내용 분류가 제대로 되어 있지 않아 Wiki에 새로운 내용을 집어넣기가 어려움
  • 개선: 개념을 Tree 형태로 나누고 Wiki 문서도 Tree 형태로 구성되게끔 변경. 보다 체계적으로 정리를 해서 새로운 내용을 넣기 상대적으로 용이함.

[dingdongx2]

190324 (일)

장소 : 강남역 카페나인

진행

• Seminar 발표
  • 소영 : adversarial training methods for semi-supervised text classification
  • 원태 : Structure-Preserving Image-Text Embeddings
• 201901 - 201903 논문 정리 및 wiki 정리

  계획

• 프로젝트와 관련된 논문 찾기 (도대체 언제!!!)
• seminar 자료에 일주일 정도의 노력 투자하기
• ML wiki - 외부자료 / 외부자료 아닌 것 모아두기
  • 내부자료
  • 네이버의 링크로 이동해보자 : link
  • 외부자료
  • naver

[warmwall]

190331 (일)

장소: 강남역 카페나인

진행

• 지난 주에 한 것/겪은 것 공유
• 스터디 진행이 늘어져 있는데, 다시 스터디를 열심히 하기 위한 방안 탐색
  • (계획 참고)
• 맥북이 고장나서 스터디를 제대로 할 수 없었다 ㅠ
  • 정신적 충격을 극복하기 위해 아이패드에 스티커를 채움 / 음악 감상

계획

• 매주 스터디 시간에, 한 주에 서로 문서 하나씩 선택해서 내용 채우기
  • 서로 작성한 문서를 검토해서 빠진 부분 채우기
  • 목적: 자기가 알고 있는 지식을 복습하고, 모르는 지식은 공부하면서 채우기
• 문서를 작성하다가 새로운 문서를 작성하지 않으면, 그것도 작성해 본다..

[dingdongx2]

190410 (수)

장소 : 강남역 카페나인

진행

• colloquium PPT 합본 생성
• neural embedding의 back-propagation에 대해 토론
• paper wiki에 대해 어떻게 정렬할지에 대해 논의
  • 페이지명 예시: Layer+기법, Optimization, NLP, Image

계획

• colloquium 자료 어떻게 올릴지 고민을 해본다
• colloquium 발표 정리
• 우리 기존 스터디는 어떻게?
  • 조금 더 작은 목표를 세워서 그것부터 차근차근
  • 논문 : text coherence 구현
• 논문 위키를 어떻게 정리할 것인지 방법 생각해 보기
• 일요일까지 word2vec기법 공부해오기

[warmwall]

190428 (일)

장소: 왕십리 아리가또

진행

• 각자 Wiki 정리
  • CNN 모델
  • Naive Bayes

계획

• 다음 주에도 이번과 마찬가지로 WIKI를 정리한다.
• Text Coherence에 대해 공부해 오기
• 논문위키 정리 방법 생각해 보기

[dingdongx2]

190430 (화)

장소 : 강남 카페나인

진행

• Apr2019 seminar 진행
  • 소영 : FastText
  • 원태 : CNN모델의 invarient
• Study2019 논문 WIKI 정리
  • 양식 확정 및 폴더 분류

계획

• BERT 공부
  • 각자 BERT논문 읽어온 후 정리
  • 다음 스터디 때 함께 PR12 논문 해석 영상 함께 본 후, 서로 정리한 BERT에 대해 의견 나누기
• bert-toeic
  • github
  • BERT로 toeic 문제 풀이. 현재 우리의 문제와 비슷하다
  • 어떻게 해결했는지를 보고 앞으로의 진행 결정
  • 코드 분석 필요

[warmwall]

190512 (일)

장소 : 강남역 카페 나인

진행

• BERT 공부
  • BERT 강의 듣기
  • BERT 정리해 둔 블로그 글 읽기
• 소영의 찡찡

계획

• BERT 재 리뷰 및 논문 다시 읽기

[warmwall]

190519 (일)

장소: 카페루보브

진행

• 발표 준비

계획

• 발표 😕

[dingdongx2]

190526 (일)

장소 : 강남역 스타벅스

진행

• 발표
  • Exploring Randomly Wired Neural Networks for Image Recognition
  • Consistent Comic Colorization with Pixel-wise Background Classification
• wiki에 논문에 대한 설명 추가

계획

[dingdongx2]

190609 (일)

장소 : 왕십리 cafe MAMAs

진행

• Attention is all you need 인터넷 강의 듣기 (5분): link
• 스터디가 너무 늘어지는 것 같아 책을 다 공부하기를 목표로 진행하기로 결정.
• Batch normalization 강의 : link

계획

• 스터디 진행 개편
  • PR12 강의 듣기: 강의 리스트
  • 기초 다시 공부하기
  • 책: "밑바닥부터 시작하는 딥러닝"(Deep Learning from Scratch)
  • wiki에 추가 정리
  • tensorflow tutorial 병행

[dingdongx2]

190616 (일)

장소 : 강남역 스타벅스

진행

• MRNet-Product2Vec 인터넷 강의 듣기 (12분): link
• Deep learning교재 : 2장_퍼셉트론 기록 : link

계획

• 세미나
• kakao arena 준비

[dingdongx2]

190728 (일)

장소 : 왕십리 요거프레소

진행

• 발표
  • Photo Wake-up: 3D Character Animation From a Single Photo
  • Image Localization with Weakly Supervised Learning

    계획

  • 스터디..

[dingdongx2]

190811 (일)

장소 : 강남 카페나인

진행

• 8월 세미나 주제 선정
  • 원태 : Adaptive Neural Trees
  • 소영 : Lightweight Network Architecture for Real-Time Action Recognition
• 논문 wiki 정리
• Attention is all you need 강의 듣기 : link
• Deep learning 교재 : 4장_신경망 학습 : link

계획

• 세미나

[dingdongx2]

190830 (금)

장소 : 강남 카페나인

진행

• 발표
  • Lightweight Network Architecture for Real-Time Action Recognition
  • Adversarial Neural Trees
• wiki 논문 정리

계획

• 강의 듣기
• 5장 학습

[dingdongx2]

190908 (일)

장소 : 강남 카페나인

진행

• 5장 - 오차역전파법 학습
• ML정리
  • 인공신경망
  • activation function
  • backpropagation

계획

• 0915 추석휴무

[dingdongx2]

190921 (일)

장소 : 한양대 엔터식스 커피빈

진행

• 오류 해결

계획

• 세미나

[dingdongx2]

190928 (토)

장소 : 강남역 카페나인

진행

• 6장 - 학습 관련 기술들
• ML 정리
  • Optimizer
  • Batch normalization
  • Dropout
  • Hyperparameter
  • Initializer

계획

• 세미나

[warmwall]

191002 (수)

장소: 강남역 스타벅스

진행

위키 정리

• Dropout
• Batch Normalization

계획

• 세미나

[dingdongx2]

191007 (월)

장소 : 강남역 스타벅스

진행

• 7장 -

계획

• 세미나 (도대체 언제?)

[warmwall]

191020 (일)

장소 : 강남역 스타벅스

진행

• 3d convolution에 대한 의문
  • 1. kernel 2x2x1 아니고 왜 1x2x2?
  • 2. 3d convolution의 output은 몇차원이 되는가?
  • 3. video 통째로 conv에 넣는데 왜 output 비교 한번에 나올 수 있는가?

계획

• 세미나

[warmwall]

191110 (일)

장소: 강남역 스타벅스

진행

• Convolution에 대한 깊은 이해 시도

계획

• 밑바닥부터 시작하는 딥러닝 책 마지막장 읽기

[dingdongx2]

191116 (토)

장소 : 강남역 카페나인

진행

• 밑바닥부터 시작하는 딥러닝1 완독
  • 8. 딥러닝 읽고 정리
  • softmax cross entropy 읽기

계획

• 11월 논문 리뷰
• 밑바닥부터 시작하는 딥러닝2 시작 or 인터넷 강의

[dingdongx2]

200112 (일)

• 장소 : 강남역 스타벅스

진행

• Everybody dance now 영상 리뷰 및 정리: link
• word2vec wiki 작성
  • text embedding : https://github.com/BD-SEARCH/MLtutorial/wiki/Text-Embedding
  • word2vec : https://github.com/BD-SEARCH/MLtutorial/wiki/Word2Vec

계획

• 영상 리뷰 및 정리
• 4과

[dingdongx2]

200119 (일)

• 장소: 강남역 스타벅스

진행

• A Closer Look at Few Shot Classification 영상 리뷰 및 정리: link
• 논문 non abbreviation에서 따로 페이지 파생 (이미지 추가 위함)
  • Everybody dance now: link
  • Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset: link
  • A Closer Look at Few shot Classification: link

계획

• EfficientNet 영상 리뷰: link
• non abbreviation 추가적으로 페이지 파생

[dingdongx2]

20200202 (일)

• 장소: 왕십리 아리가또

진행

• W-TALC 논문 리뷰
• non abbreviation 추가적으로 페이지 파생
  • Multi channel CNN for Korean Sentiment Analysis: link
  • Character Aware Neural Language Models: link
  • Learning Spatiotemporal Features with 3D Convolutional Networks: link
• Wiki 페이지 추가: mAP
• Wiki 내용 추가 및 정리
  • CNN: link
  • Text Embedding: link
  • Natural Language Processing: link
  • TextCNN: link
  • Image Processing: link

계획

• 영상 리뷰

[dingdongx2]

20200209 (일)

• 장소: 강남역 스타벅스

진행

• recycle-GAN 영상 리뷰: link
• 밑바닥부터 시작하는 딥러닝2 시작
  • 2과 : 자연어와 단어의 분산 표현

계획

• 논문 리뷰 영상 시청
• 밑바닥부터 시작하는 딥러닝2 3과

[dingdongx2]

20200216 (일)

• 장소: 강남역 스타벅스

진행

• Adversarial Examples Are Not Bugs, They Are Features 영상 리뷰: link

계획

• 논문 리뷰 영상 시청
• 밑바닥부터 시작하는 딥러닝2 3과

[dingdongx2]

20200308 (일)

• 장소: 강남역 스타벅스

진행

• Dropout wiki 정리 : link
• 왜 classification에는 cross-entropy, regression에는 MSE를 사용하는가 : link

계획

• L1, L2 norm 정리
• regularization 정리 : link
• 논문 리뷰 영상 시청

[dingdongx2]

20200315 (일)

• 장소: 강남역 스타벅스

진행

• regularization wiki 정리 : link
• l1,l2 regularization wiki 정리 : link

  계획

• l1,l2 regularization 재점검(소영 개인)
• normalization wiki 정리
• 논문 리뷰 영상 시청

[dingdongx2]

20200322 (일)

• 장소: 강남역 스타벅스

진행

• ML wiki 이사 : https://22-22.tistory.com/

계획

• 글 완전히 이사 및 정리

[warmwall]

20200412 (일)

• 장소: 강남역 스타벅스

진행

• wiki blog 이전 완료: link

계획

• 인강 듣기

[dingdongx2]

20200426

• 장소: 강남역 스타벅스

진행

• 담주 내내 비온다고 박소영이 존나짜증냄
• ObamaNet 리뷰 : link

계획

• 논문발표

[warmwall]

20200510

• 장소: 강남역 스타벅스

진행

• YOLO 영상 듣기: link
• 밑바닥부터 시작하는 딥러닝 2 (3장)
  • word2vec 정리 : link
  • word2vec 만들어보기 : link

    계획

[dingdongx2]

20200516

• 장소: 강남역 스타벅스

진행

• YOLO, fast-rcnn 정리

계획

• yolo, fast-rcnn 정리

[dingdongx2]

20200524

• 장소: 교대역 스타벅스

진행

• wiki paper 이사

[dingdongx2]

20200531

• 장소: 교대역 스타벅스

진행

• tistory css 수정
  • 폰트, 사이즈 수정
• 교재 정리 : 4장. word2vec 속도 개선

계획

• 논문 발표

[dingdongx2]

20200614

• 장소: 강남역 스타벅스

진행

• tistory 이사 및 논문리뷰 정리

[dingdongx2]

20200628

• 장소: 강남역 스타벅스

진행

• "밑바닥부터 시작하는 딥러닝2 5장"
• tistory css 수정: 링크 디자인, 문단간격 수정

계획

• 밑바닥부터 시작하는 딥러닝2 6장

[dingdongx2]

20200704

• 장소: 강남역 스타벅스

진행

• PR12: BERT4Rec -Sequential Recommendation with BERT 리뷰 : link

계획

• 논문 리뷰
• 밑바닥부터 시작하는 딥러닝2 6장

[dingdongx2]

20200719

• 장소: 강남역 스타벅스

진행

• colab 사용
• 논문구현
  • Variational Autoencoders for Collaborative Filtering : link

계획

• 논문 리딩 : Variational Autoencoders for Collaborative Filtering
  • 소영 : 논문 뽑아오기
• colab 사용법 작성

[warmwall]

20200802

• 장소: 강남역 스타벅스

진행

• colab 사용
• ml-20 데이터셋 가져오기
• 논문 구현
  • Variational Autoencoders for Collaborative Filtering : link

[dingdongx2]

20200823

• 장소: 교대역 커피빈

진행

• 논문 구현(2)
  • Variational Autoencoders for Collaborative Filtering
  • model, train 작성
  • ip/output 사이즈 맞추기

계획

• 논문 구현

[dingdongx2]

20200913

• 장소 : 숑하우스

진행

• torch 라이브러리 분석

계획

• 논문 구현

[dingdongx2]

20200920

• 장소 : 강남역 엔젤리너스

진행

• 논문구현 : GAN

계획

• 논문구현

[dingdongx2]

20200926

• 장소 : 왕십리 아리가또

진행

• 논문구현 및 마무리 : GAN

계획

• Ani2Pic
  • dataset에 따른 Output 수집
• 논문 발표
  • 소영 : cycleGAN
  • 원태 : pix2pix