[20220109] Weekly AI ArXiv 만담 - 35회차

jungwoo-ha commented 2 years ago

News
- 모더레이터 분들의 2021 가장 기억에 남는 논문 혹은 소식 한개씩! (두개 안됨!)
- ACL 2022 (ARR-11월) 리뷰가 화요일 즈음 나옵니당.
- IJCAI 2022 데드라인: 1월 14일 / ICML 2022 데드라인: 1월 20일&27일
- CES 2022 !!!
- 카이스트 교수님들의 시각: https://www.youtube.com/watch?v=7cU7jddtfQA
- 애널리스트들의 시각: https://www.youtube.com/watch?v=yCCNN88rWV0
- AIAI2022 Workshop
Arxiv
- Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text
- 구글리서치에서 나온 image-text foundation model
- Joint training 을 하는데 shared transformer, 각각의 task로 multitask pretraining 하면 vision only & task only 둘다 성능 향상
- KD (Pretrained BERT와 Pretrained ViT를 teacher로 활용) + gradient masking
- 그런데 multimodal task 실험은 없음: VQA, SNLI-VE, I2T 같은 것들.
- ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation
- Baidu Ernie 3.0의 260B 버전 - Text + KG 도 함께 학습
- self-supervised adversarial loss and a controllable language modeling loss + KD인데 teacher가 self-training도 동시에 하는구조
- NPU, 서빙을 위한 여러 테크닉 설명까지 포함.
- GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
- Open AI 에서 공개한 Diffusion model 기반의 Text-to-image 생성 + 편집 모델
- Classifier-free & CLIP 기반 guidance로 이미지 컨트롤 가능, prompt 와 segmentation mask로 부분편집됨.
- https://github.com/openai/glide-text2im
- 역시 이미지 퀄은 diffusion model ! A100 한장으로 인퍼런스 15초 걸리는 문제만 해결하면 참 좋을 텐데.
- A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More
- MIT, Havard U, Columbia U, U of Warterloo 연구자들이 만든 대학수학을 푸는 AI
- Open AI CODEX를 이용한 수학문제 --> 코드 (신박한 아이디어)

sujungleeml commented 2 years ago

한달에 한번은 발표 하는게 목표에요 'ㅅ'...! 제가 잘못알고 있는 부분 수정해주시거나 추가 설명 해주시는건 언제나 환영합니다~!

Medical Article
- Development and validation of an artificial neural network algorithm to predict mortality and admission to hospital for heart failure after myocardial infarction: a nationwide population-based study
- IF 24.519 인 란셋 디지털 헬스에서 01JAN2022 에 나온 따끈따끈한 논문입니다.
- Summary

방법적으로는 다소 올드하고 평범. backpropagation algorithm 사용했다고 하고.. 논문에는 hyperparameter tuning 이나 모델에 대한 디테일한 설명도 없음. appendix 에 gradient boosting, random forest, logistic regression 을 사용했다고 언급되어 있지만 자세한 내용은 없음.
심지어 STATA 사용
데이터가 깡패
Model : SWEDHEART(The swedish Web system for Enhancement and Development for Evidence-based care in Heart disease Evaluated According to Recommended Therapies) : n=139,288
External validation : WDHR(Western Denmark Heart Registry) n = 30,971
모델은 feature 21 개 사용한 것과 84개 사용한 것 2가지로 개발
기존의 risk and mortality score 인 GRACE score 보다 우수함.

역시 데이터가..중요하다...

ghlee0304 commented 2 years ago

Arxiv
- IQDUBBING: Prosody modeling based on discrete self-supervised speech representation for expressive voice conversion
  - Summary 샘플 URL : https://wblgers.github.io/IQDUBBING-VC.github.io/ expressive한 voice conversion을 위하여 prosody 추출 시 content와 speaker정보를 제거하는데 초점을 맞추고 있음
  - Problem prosody는 content와 speaker 등의 정보와 결합되어 분리 모델링하기 어려움
  - Proposed method
    - discrete self-supervised speech representation (DSSR) 사용
    - VQ-Wav2Vec model을 이용하여 prosody vector를 추출
    - prosody외에 남아 있는 정보를 제거하기 위한 filter 사용
  - Results
- Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios
  - Summary 샘플 URL: https://qicongxie.github.io/SRM2TTS/ multi-speaker multi-style 데이터 셋으로부터 style과 timbre를 모델링하여 target speaker의 음색으로 다양한 스타일의 expressive한 speech를 생성하고 prosody를 조절 가능하게 만든 위한 모델 제안
  - Problem target speaker에게 다양한 style을 전이(transfer)시키려면 source speaker과 다양한 스타일로 녹음이 되어 있어야 하지만, 이렇게 녹음하는 것이 어려움
  - Proposed method
    - Encoder-decoder framework : Tracotron2 모델을 수정하여 사용 (FastSpeech2 + Tacotron2 느낌)
      - speaker information은 스타일과 상관없는 음색(timbre)과 관련이 있기 때문에 global information을 의미
      - speaking style information은 prosody와 관련이 있고 local한 information을 의미
    - Text based prosody module
      - prosody predictor는 style ID와 text encoder output을 입력으로 prosody feature를 생성
      - multi-scale prosody encoder는 prosody feature를 입력으로 prosody representation을 생성
      - prosody feature로는 pitch, duration, energy를 사용
  - Results

nick-jhlee commented 2 years ago

KAIST AI 워크숍 21/22
- 일정: 2022년 1월 11일 화요일 13:00 - 18:00
- 장소: KAIST 본원 IT융합빌딩 117 다목적홀 (N1 117호) (예정. 코로나 상황에 따라 변동될 수 있습니다.)
- 구성: 기조 연설, 포스터 발표, 스폰서 부스 (NAVER Clova, LG AI, KT, SKT, 셀렉트스타)
- 발표 논문: https://mars-ai.github.io/kaist-ai-workshop-2122
- 점점 이렇게 대면 행사가 열리는게 좋네요,,, ㅎㅎ (~~혹시 참여하시는 분 계시면 제 포스터도 한번 방문 부탁드림다,,~~)
COLT 2022 (http://learningtheory.org/colt2022/)
- Submission deadline: 02/09
- Tentative date: July 2–5
- Tentative location: London, UK (plz....)
2022 IMS Annual Meeting in Probability and Statistics (https://www.imsannualmeeting-london2022.com/)
- Tentative date: 06/27-30
- Tentative location: London, UK
ICLR 2022 workshop list 나왔어요!
- https://blog.iclr.cc/2021/12/17/announcing-the-accepted-workshops-at-iclr-2022/
AAAI 2022 현재 registration 받는 중!
- 너무 비싸네요,,
새로운 conference/journal venue!: Transaction on Machine Learning Research (TMLR; https://jmlr.org/tmlr/)
- Creator: Hugo Larohelle, Raia Hadsell, Kyunghyun Cho and others
- JMLR-style journal
- Uses OpenReview
- Focuses on conference-length publications
- Has no submission deadlines
- Aims for a fast turnaround
- Acceptance based on matched claims and evidence, not potential impact
- 더 자세한 launching 내용은 여기로: https://medium.com/@hugo_larochelle_65309/announcing-the-transactions-on-machine-learning-research-3ea6101c936f
- Looks promising! (첫 submission은 대략 2022 초반으로 예상한다고 합니당)

nick-jhlee commented 2 years ago

(많아 보이지만 쓱 지나가면 금방이에요 ㅎㅎ)

Very incomplete recap (papers):
- 제 AI 데뷔작 ㅎㅎ
- Fast and Efficient MMD-based Fair PCA via Optimization over Stiefel Manifold (AAAI 2022)
- Theory (interpolation/extrapolation, generalization of DNN):
- Learning in High Dimension Always Amounts to Extrapolation
- A Universal Law of Robustness via Isoperimetry (NeurIPS 2021 Outstanding paper award)
- Rest of the Theory (inner workings of SGD, GNN, RL, bandits): 굳이 적진 않지만, 아주 많았습니다,,, ㅎㅎ
- Peer review is broken:
- Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment
- You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism
- NeurIPS 2021 experiment도 기대...!
- cf. https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/edit
- ICML 2021 "...we plan to reduce the number of accepted papers. Please work with your SAC to raise the bar. AC/SAC do not have to accept a paper only because there is nothing wrong in it."
- AAAI... 할많하않 (IJCAI도 two-phase던데,,)
- Geometric Deep Learning:
- Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges
- https://geometricdeeplearning.com/
- ICLR 2021 tutorial by Prof. Michael Bronstein: https://www.youtube.com/watch?v=w6Pw4MOzMuo
- ML/DL in natural sciences
- biology: Highly accurate protein structure prediction with AlphaFold
- chemistry: Pushing the frontiers of density functionals by solving the fractional electron problem
- (pure) mathematics: Advancing mathematics by guiding human intuition with AI
- teaching: A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More
Very incomplete recap (news):
- 1/2 of Nobel Physics to Giorgi Parisi!
- RIP Naftali Tishby (coauthor of Opening the black box of Deep Neural Networks via Information)
- Ethical/Trustworthy AI
- Google AI 펑... (feat. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? and others)
  - Timnit Gebru (ousted) -> Distributed AI Research Institute (DAIR)
  - One of "Nature's 10: ten people who helped shape science in 2021"
  - Samy Bengio (resigned) -> Apple Research
  - at least 3 more resigned/fired
  - Facebook vs NYU
  - NYU Researchers Were Studying Disinformation On Facebook. The Company Cut Them Off
- Europe에서 나온 가이드라인: Ethics Guidelines for Trustworthy AI
- ...등등 (나머진 잘 기억이,,,)

nick-jhlee commented 2 years ago

cf. Pedro Domingos의 twitter war "Half of the female STEM faculty in the US were hired over more qualified men." - Pedro Domingos (01/01/2022)

kimyoungdo0122 commented 2 years ago

News
- 21년 올해의 뉴스 ‘초거대 AI’ 기술 전쟁 본격화… 美·中 선두경쟁, 추격하는 韓
- 통신3사, AI스피커 2.0 시대 연다...SKT 'AI플랫폼', KT 'B2B', LGU+ '홈IoT'
- 메디컬 AI 관련 뉴스
  - AI에 빠진 제약·바이오, 글로벌서도 통할까
  - KT, 가톨릭중앙의료원과 디지털치료기기 시장 공략 나선다
  - 네이버, 순천향대 중앙의료원과 의료 특화 AI 맞손
    - Voice EMR이라는 간호사가 모바일앱으로 음성 메모를 하면 음성인식 기술을 통해 EMR 시스템에 자동 기록되는 서비스
  - 카카오브레인, 인공지능 신약 개발 사업 진출
  - SKT-서울대병원, AI 영상분석으로 발달장애 조기 진단
  - 웨이센, AI 소화기 내시경으로 CES 혁신상 수상
  - AI 기술을 보유한 기업이 찾아갈 다음 먹거리는 무엇일까?
- 스토리가 무한히 확장되는 게임?!
  - ‘AI Dungeon’ Creator Nick Walton Uses AI to Generate Infinite Gaming Storylines
  - AI Dungeon’s creators are launching an experimental AI-powered game platform
- 재미있게 본 영상
  - 위르겐 슈미트후버 교수님이 설명하는 인공지능 역사와 미래
  - Modern Artificial Intelligence 1980s-2021 and Beyond (Prof. Jürgen Schmidhuber)
  - [MTN hip] 너도나도 AI 뱅커…짐 싸는 은행원 속속 / 머니투데이방송 (뉴스)
  - 2021: A Year Full of Amazing AI papers
    - DALL E, StyleGAN, Swin Transformer, CLIP 계열의 논문들의 영상과 간단 설명이 정리되어 있습니다!

hollobit commented 2 years ago

AI 의료기기 성능평가 국제표준화 시동

https://search.daum.net/search?w=tot&DA=23A&rtmaxcoll=NNS&q=AI+%EC%9D%98%EB%A3%8C%EA%B8%B0%EA%B8%B0
https://www.iec.ch/dyn/www/f?p=103:14:715051018849207::::FSP_ORG_ID,FSP_LANG_ID:28235,25
한국 제안으로 AI/ML-MD에 대한 performance evaluation process 최초 표준 개발 시작 (2025년 제정 예상)
30개국 만장일치로 IEC TC62 산하에 PT8 신설과 의장단 수임 (12/1). kickoff 회의 개최 (12/14). 1월19일부터 격주로 회의 예정.
AI/ML 시스템에 대한 품질 모델, 신뢰성, 데이터, 테스팅 등등에 대해 여러 표준화 기구에서 경쟁적인 표준 개발이 진행 중임. (점점 영역에 대해 정리가 되는 중)
AI/ML-MD의 quality model에서 가장 중요한 것은 performance이며, performance에 대한 체계적 평가 절차 표준
performance에 대해 3 pillar 모델로 평가
2월에 Testing for AI systems 표준 개발이 시작되면, 중요한 연계 체계도 만들어질 것으로 기대
의료 영역만이 아니라 다른 도메인에도 적용 가능한 표준. 관심 있는 분들은 언제든 hollobit@etri.re.kr로 연락주세요

인공지능을 위한 측정과 평가체계

http://www.daejonilbo.com/news/newsitem.asp?pk_no=1499389
metre, meter, metric, metrication, metry 에 얽힌 재미있는 이야기들 - barometer, thermometer, parameter, geometric ....
AI/ML의 모든 요소는 결국 측정에 대한 이슈들

포브스의 2022년 10가지 AI 예측

https://www.forbes.com/sites/robtoews/2021/12/22/10-ai-predictions-for-2022/?sh=1157c9c2482d&fbclid=IwAR34wrhgpFdraNPL7PXbJaOSXd1AcNGvPU31qgCEDgEsuUkFI-Zk7MjFFe0 1) 언어 AI가 중심 무대가 될 것이며, 다른 어떤 AI 범주보다 NLP에서 더 많은 스타트업이 자금을 지원받을 것 2) Databricks, DataRobot 및 Scale AI가 모두 공개됨 3) 적어도 3개의 기후 AI 스타트업이 유니콘이 될 것 4) 동영상용으로 강력하고 새로운 AI 도구가 구축됨 5) 10조 개 이상의 매개변수가 있는 NLP 모델이 구축됨 6) AI 분야에서 미국과 중국 행위자들 사이의 협력과 투자는 거의 중단됨 7) 다수의 대규모 클라우드/데이터 플랫폼이 새로운 합성 데이터 이니셔티브를 발표할 것 8) 토론토는 실리콘 밸리와 중국을 제외한 세계에서 가장 중요한 AI 허브로 자리매김할 것 9) "책임 있는 AI(Responsible AI)"는 모호한 포괄 용어에서 운영 가능한 일련의 기업 관행으로 이동하기 시작할 것 10) 강화 학습은 점점 더 중요하고 영향력 있는 AI 패러다임이 될 것

Technology Leaders Share 10 AI Predictions for 2022

https://www.dbta.com/Editorial/News-Flashes/Technology-Leaders-Share-10-AI-Predictions-for-2022-150325.aspx 1) The conversation around data for AI will be prioritized 2) Companies will demand energy-efficient AI 3) AI and deep learning go mainstream 4) AI-Generated Threats Will No Longer Be Hype 5) AI will move from theoretical to practical, opening up new opportunities for developers 6) Quantum AI environments will emerge 7) With their hyper-focus on innovation and speed, IT teams will lean more heavily on automation to modernize code 8) AI will become more accessible to developers 9) The use of AI will increase in software development 10) The coming year will see a shift from point solutions to a suite of AI-enabled business applications built upon a common platform

GPT-3 Demo

https://gpt3demo.com/
몇일만에 200개에서 300개로 늘었네요. 왠지 상징적인 사이트가 될듯한 느낌적 느낌

priancho commented 2 years ago

Diffusion model에 대한 fast inference 관련해서 아래 논문을 본 기억이 있어서 공유합니다. https://arxiv.org/pdf/2110.02037.pdf

kwonminki commented 2 years ago

아까 말씀드린 논문은 denosing deffusion gan으로 nvidia에서 이번에 낸 논문입니다. https://nvlabs.github.io/denoising-diffusion-gan/ https://arxiv.org/abs/2112.07804 SmartSelect_20220109-224917_Xodo Docs

nick-jhlee commented 2 years ago

대선이 다가왔습니다..!

교육 of AI
과학기술정책 in general
- 인공지능법 제정안 by 정** 의원님
등등..

jungwoo-ha / WeeklyArxivTalk