[20220306] Weekly AI ArXiv 만담 - 42회차

News
- 동해안지역 산불 피해자 여러분들께 위로의 말씀 드립니다. 모두 안전에 유의하세요.
- ACL 2022 notification & CVPR 2022 notification! 모두들 축하드립니다.
- 다가오는 데드라인
- ECCV 2022: 3월 8일 새벽 (한국시간), supplementary 는 3월 15일 새벽 --> 모두들 파이팅!
- Interspeech 2022 (인천 송도!): 3월 21일
- NeurIPS 2022: 5월 16일 abs, 5월 19일 full paper, 학회가 11월 28일부터!
  - 미국(New Orleans)에서 열리는 Top ML학회에서 한국인 Organizing Committee가 무려 4명!
- 대통령 선거 입니다. 국가의 미래를 위해서 소중한 한표 꼭 행사합시다.
- 각 후보 AI공약 비교 (AI미래포럼 웨비나)
- MWC2022: 과연 내년에도 바르셀로나에서 가능할 것인가?
- AI미래포럼 MWC2022 Trend소개 웨비나
- Lapsus$ 의 Nvidia 및 삼성 데이터 탈취: NVidia (1T), 삼성 (190GB). NVidia의 GPU Cuda 포함 SDK들 영향
- 8 Ways to Prevent Ageism in Artificial Intelligence
  1. Include older consumers in the design of A.I. technologies.
  2. Hire age-diverse individuals for data science teams.
  3. Conduct age-inclusive data collection.
  4. Invest in digital infrastructure and digital literacy.
  5. Give older consumers the right to consent and contest.
  6. Work alongside governance frameworks and regulations.
  7. Stay up to date on the new uses of A.I. and how to avoid bias.
  8. Create robust ethics processes.
- WHO report (2022.2): https://www.who.int/publications/i/item/9789240040793
ArXiv
- Curriculum Learning: A Regularization Method for Efficient and Stable Billion-Scale GPT Model Pre-Training
- 1.5B 급 GPT2를 빠르고 안정적으로 학습하는 기법 제안 (from MS)
- 대규모 LM 학습은 efficiency-stability dilemma 가 항상 존재 (Batch, LR 등). 모델이 커지면 더심해짐
- 두마리 토끼 동시에 잡는 방법으로 sequence length warm up을 제안 (처음엔 짧게 점점 1K 혹은 2K까지 늘림)
- 이랬더니 8배 큰 batch size와 4배 큰 LR로도 안터지고 잘 학습되고 훈련시간도 확 줄이며 성능도 유지
- GPT2 117M과 1.5B에 대한 실험이 10B 넘는 모델에서도 보여줬으면...
- Understanding Failure Modes of Self-Supervised Learning
- SSL로 학습된 모델에서 오분류되는 이미지들을 평가하는 Q-score 제안
- 제대로 분류되는 이미지는 sparse & 특징이 드러나는 feature들이 존재. 잘못분류되는 이미지 피처는 그 반대
- Encoder를 통과한 latent feature 를 활용하여 Q-score를 제안 (Z-score를 피처의 L1-norm을 노멀라이징)
- Q-score 노멀라이징하면 SSL --> 분류문제 적용시 정확도가 훨씬 향상된다고.
- Feature Statistics Mixing Regularization for Generative Adversarial Networks
- D의 texture (style & color) bias를 완화해서 D의 성능을 높여 이미지 생성 품질을 향상 시키는 연구 (from NAVER AI Lab, CVPR2022)
- 이를 위해 style distance 과 content distance metric 그리고 이를 이용해서 relative distance 제안하고 각 모델의 D가 얼마만큼 style에 민감한지 분석
- 다른 샘플들의 feature statistics를 AdaIN 스타일로 믹싱해서 style debiasing
- 기타 흥미있는 연구
- StyleSDF: High-Resolution 3D-Consistent Image and Geometry Generation
  - 3D-aware GAN, RGB --> 3D shape 코드 공개 (CVPR 2022)
- BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning
  - Batch내 image relation을 학습하는 모듈을 훈련때 써먹고 inference에는 CNN만 사용. 더 Robust하다고(CVPR2022)
  - 요건 담주에 1그램 더 자세히 예정
- Efficient Video Instance Segmentation via Tracklet Query and Proposal
  - Video instance segmentation 기술이 필요하신 분들은 여기 참조 (CVPR 2022)

Microsoft가 Nuance 인수 160억 달러에 완료

2021년 4월 197억 달러에 인수하기로 합의 발표

의료 산업 기업의 머신 러닝 혁신은 작년에 하락

https://www.medicaldevice-network.com/features/machine-learning-innovation-among-medical-industry-companies-has-dropped-off-in-the-last-year/
- 업계 관련 특허 출원 건수는 2021년 9월부터 12월까지 3개월 동안 78건으로 2020년 같은 기간의 156건에서 감소
- 특허 부여 수치도 2021년 14건으로 감서 (2020년 27건)
- 스위스 F. Hoffmann-La Roche Lt (2020년 51개, 2021년 33건)
- 미국 Johnson & Johnson이 30건, 영국 Smith & Nephew Plc(12건의 출원), 아일랜드 Medtronic Plc (11건 출원)

러시아 AI를 이용하여 우크라이나 침공에 대한 허위 정보 확산

https://amp.marca.com/en/lifestyle/world-news/2022/03/03/622053ca268e3e20088b456f.html
https://ichi.pro/ko/leosia-teulol-eul-poglo-han-leosiain-126285245201617
- 페테르부르크 트롤 농장
  - https://ichi.pro/ko/trolltracker-teuwiteoui-teulol-nongjang-akaibeu-153823674449586
  - 2013년부터 2018년까지 페테르부르크 트롤이라고도 알려진 인터넷 연구 기관 소속 계정 3,800 개가 9백만개의 트윗 생성
- 우크라이나 전쟁에 앞서 러시아는 이미 전체 프로필과 사람의 얼굴을 가진 AI 생성 페르소나를 만들고 있음. 그러나 실제 사람은 아닌..
  - Kyiv의 블로거 Vladimir Bondarenko
  - Kharkiv의 Irina Kerimova

러시아-우크라이나 전쟁 최전선에 AI가 사용되고 있음

https://fortune.com/2022/03/01/russia-ukraine-invasion-war-a-i-artificial-intelligence/
- 우크라이나 자동으로 이착륙하고 순항할 수 있는 터키산 TB2 무인 항공기를 사용
- 러시아는 Lantset 이라는 일부 자율 기능을 갖춘 "kamikaze" 드론을 보유. 일단 발사되면 미리 선택된 타겟 유형을 감지할 때까지 미리 지정된 지리적 영역을 돌게 됩니다. 그런 다음 목표물에 충돌하여 운반하는 탄두를 폭발
- 2017년 블라디미르 푸틴 대통령은 AI의 리더가 되는 사람이 "세계의 지배자가 될 것"이라고 말했
- 오픈소스 인텔리전스의 확산 https://statesidealternatives.com/defense/the-role-of-ai-in-open-source-intelligence/
  - 틱톡, 텔레그램, 유튜브 정보 등을 활용한 잔학 행위와 인권 침해 문서화, 정보 분석도 가능

News
- 채용도 인공지능 시대…기업 59% AI채용 도입 기대감
  - 채용 플랫폼 사람인에서 조사한 결과, AI 채용 솔루션을 이용하고 있는 기업은 6.1%밖에 안된다고 함
  - 대부분은 AI역량평가(76.5%, 복수응답)를 활용하고 있었고, AI 화상면접(29.4%), AI 자기소개서 분석(26.5%) 등의 순이었다.
  - 46%의 응답 기업이 향후 AI 채용 프로세스를 도입할 의향이 있다고 합니다.
  - 비용 감소, 인사 업무 효율화 등의 이유로 도입
  - 당연히 윤리적인 이슈가 제기되어 왔습니다
- AI 면접은 더 공정할까?..."얼굴로 적합성 판단? 과학적 검증 안 돼"
  - 고학수 교수님 인터뷰 기사
  - AI 면접의 윤리적인 문제 제시
  - 여성이나 장애인과 같은 소수자를 차별하는 편향 발생 우려
  - 그러면서도 서류 전형에서 회사에 부적합한 사람을 빠르게 분리해내는 작업처럼, 복잡도가 낮은 유형은 AI로 처리하여 효율화 할 수 있음
- 겸사겸사 지난 주 인공지능 윤리 포럼은 어떤 활동을 하는지 질문..!
- 현직 개발자들이 뽑은 한국 최고 AI 회사는? '네이버'
  - 역시..!!

DeepNet: Scaling Transformers to 1,000 Layers
- Transformer를 1000 layer까지 쌓을 수 있는 방법을 제안한 논문
- Large scale model이 많이 나오고 있지만 transformer training의 불안정성으로 layer 수는 제한적인 부분을 지적
- 초기화와 layer norm을 변형하여 1000 layer transformer를 이용하여 training 하는 방법을 제안
- 3.2B parameter의 200 layer 모델이 48 layer의 12B parameter model보다 machine translation에서 5 BLEU score 성능 향상 달성

Can Wikipedia Help Offline Reinforcement Learning?

Tokyo Univ, Yale Univ, Google Brain
https://github.com/machelreid/can-wikipedia-help-offline-rl
GPT스타일 pretrained LM을 offline RL에 fine-tunning한 연구
피터아빌 교수님의 Decision Transformer (DT) framework를 그대로 사용
Decision Transformer의 scratch학습보다 Wikipedia로 pretrained된 같은사이즈의 모델을 offline RL데이터에 fine-tunning 할 경우 대체로 더 나은 성능
Pretrained image-GPT를 사용했을 땐 잘 안됨

최승준님 감사합니다! https://openai.com/blog/economic-impacts/

지난 3월 3일 OpenAI 블로그에 올라온 Lessons Learned on Language Model Safety and Misuse에는 흥미롭게도 블로그 메인에는 바로 안보이는 Economic Impacts Research at OpenAI 로 연결이 됐었는데, 그 글에 다시 A Research Agenda for Assessing the Economic Impacts of Code Generation Models 페이퍼로 연결이 되면서 Codex가 경제에 미칠 영향, (개발자) 노동 시장/조합에 미칠 영향 등이 언급되어 있었습니다.

메인에 등장하지 않고 슬그머니 등장하는 것도 흥미로운 부분이었는데, 이 연구를 리드한 사람은 Sam Manning으로 비영리 연구소인 Open Research 소속이었습니다. 기본소득도 연구하는 이 연구소의 체어는 Sam Altman인데, 알고 봤더니 YC Research에서 2020년에 이름을 바꾼 곳이었습니다.

OpenAI는 당장은 아니지만 이 흐름의 외삽에 있는 임팩트가 무척 크다라고 보고 Economic Impacts Research: Research Collaborators Expression of Interest를 표현하고 함께 연구해 보자고 하는 것 같은데, 지난 주에는 그다지 이슈가 되지는 않는 것 같았습니다. 그러다보니 이게 과대광고일지 정말 큰 임팩트가 올 예정일지에 관해 패널분들이 어떻게 생각하실지 궁금했습니다.

개인적으로는 Elon Musk나 Sam Altman 같은 사람들이 기본 소득을 이야기 할 때 뭔가 위화감이 들기도 합니다. (OpenResearch에서 어떤 연구를 하는지는 아직 자세히 살펴보지 못해서 단정지을 순 없지만요) 마치 이러한 혁신이 격차와 불평등을 심화할 것이 당연하다고 상정하고 준비하는 것 처럼 느껴져서요.

jungwoo-ha / WeeklyArxivTalk