[20220323] Boostcamp-AI-Casual-Talk - 1회차

[ili0820]

News

• 스캐터랩, 인공지능 챗봇 '이루다1.0' 역경 딛고 ‘이루다2.0’ 오픈 베타 테스트 진행
  

  • 개인정보 불법수집·유출 논란 일었던 ‘이루다’, 1억330만원 과징금·과태료 부과

  • ‘이루다’ 사건에 대한 개인정보위 결정의 의미와 시사점

  • [체험기]이루다 2.0 오픈…혐오 발화 줄었으나 특색 필요

  • 인공지능의 법적 지위에 관한 논의*- 전자인(간)과 관련하여 -

  • 인공지능 시스템의 책임능력 ―전자인 제도의 도입 필요성에 관한 논의를 중심으로―

  • 스캐터랩 AI 챗봇 프라이버시 정책

    

• 네이버클라우드, ‘인공지능 경진대회 플랫폼’ 사업 진출...AI 해커톤 솔루션 비롯해 지원 TF팀까지 구성 완료
  • "티라노사우루스와 이야기해볼까"…네이버가 만드는 새로운 포털 세상

• Stanford AI Index Report 2022

  • The State of AI in 9 Charts
    1. What are the top skills most requested by employers?
    2. Employment of new AI PhDs in North America?
    3. New U.S Resident AI Phds by Race/Ethnicity
    4. Private investment in AI
    5. Number of AI Publications by Field
    6. Number of AI Patent Filings
    7. A robot for everyone?
    8. Number of Accepted FAccT Conference Submissions by Affiliation
    9. Number of AI Related Bills in the United States

• When it comes to AI, can we ditch the datasets?

  • AI 학습에 데이터 세트 없어도 되나?...MIT, 합성 데이터 생성 모델 개발
  • GENERATIVE MODELS AS A DATA SOURCE FOR MULTIVIEW REPRESENTATION LEARNING

Arxiv

• FORCE: A Framework of Rule-Based Conversational Recommender System

• Demo Video

[hawe66]

Aesthetic preference for art can be predicted from a mixture of low- and high-level visual features

• The authors defined low, high-level visual features (e.g.) hue, contrast / dynamic, concrete) and
  proposed Linear feature summation (LFS) model that predicts human valuation of visual art
  • LFS model successfully captures human liking ratings

• A deep convolutional neural network (VGG16) model predicts human liking ratings for visual art
  • VGG16: pre-trained by Imagenet / froze and performed feature-extraction on average art liking scores
  • Ridge linear regression to predict liking ratings from each hidden layer
  • While lower layers of VGG16 capture the ratings of low-level features, higher layers of VGG16 capture the ratings of high-level features!

Slides

News

• GTC 2022

[naem1023]

OpenAI, Davinci model

https://andrewmayneblog.wordpress.com/2022/03/17/building-games-and-apps-entirely-through-natural-language-using-openais-davinci-code-model/

https://openai.com/blog/gpt-3-edit-insert/

Overview

이전에 OpenAI에서 Codex를 통해 prompt로 코딩하는 모델을 선보였다. 이번에 새로운 GPT-3모델과 Codex가 나오면서 위 2개 글과 같은 결과를 얻을 수 있게 됐다.

New GPT-3 Capabilities: Edit & Insert

Edit '아래 코드의 time complexity'를 개선시켜줘', 'javascript로 변환해줘'와 같이 prompt에 변화를 가할 수 있게 됐다.

Insert Codex의 경우 앞, 뒤 prompt 맥락에 따라 적절한 코드가 지속적으로 중간 지점에 insert된다. GPT-3로 Section별 글쓰기를 할 경우, Section2의 내용에 따라 Section1에 새로운 내용이 insert 된다.

P-tuning

https://arxiv.org/pdf/2103.10385.pdf

Overview

GPT 등에서 few-shot learning을 할 때 사용할 prompt를 hand-craft로 만들지말고, embedding으로 만들자.

Method

e.g., NLU task에서 사용할 prompt를 embedding해보자. The capital of Britain is [MASK]. 사람이 직접 GPT에 넣을 prompt를 만든다면 아래와 같이 만들 수 있을 것이다.

이러한 작업을 사람이 실험을 통해 시행하지말고, PLM을 fine-tuning하지도 않으면서 prompt만 따로 embedding해보자.

• Prompt token: 학습해서 찾게 될 prompt들
• h: prompt encoder에 prompt token을 투입해 얻은 output

이렇게 만들어진 prompt를 PLM에 투입해 loss를 구하고 back propagation을 통해 prompt encoder를 업데이트한다.

Result

일반적인 prompt 생성 방법들보다 더 좋은 결과가 나왔다고 한다.

[ijkimmy]

• News

  • 생각만으로 정확하게 로봇팔 조종한다!...KAIST 정재승 교수팀, '뇌-기계 인터페이스 인공지능' 모델 개발

  • 설명가능한 인공지능으로 의식의 깊이 측정...고려대-위스콘신대-리에주대 공동연구팀, 실시간으로 의식 수준 설명하는 AI 개발

  • AI suggested 40,000 new possible chemical weapons in just six hours

• Blog Posts

  • Building games and apps entirely through natural language using OpenAI’s code-davinci model

  • Deep Neural Nets: 33 years ago and 33 years from now

• Research

  • GopherCite: Teaching language models to support answers with verified quotes

  • Using Deep Learning to Annotate the Protein Universe

  • ProteInfer: deep networks for protein functional inference

[sunbi-s]

Web 3.0

• what is Web 3.0?

  

• Web3.0 ppt