module/optimization/uncertainty_quantification

kyungheee commented 3 months ago

kyungheee commented 3 months ago

A Survey on Uncertainty Quantification Methods for Deep Learning

Deep Learning에서 발생하는 UQ에 관해 정리한 논문이지만, AutoML을 돌리는 우리꺼에 어떻게 적용할 수 있을까?

6.1 Out-of-distribution detection

test data가 train data와 distribution이 유사할거라고 가정하고 DNN 모델을 만든다
근데 out-of-distribution (OOD) data를 마주할 상황이 많다.
그러면 unreliable prediction을 하게 되므로 모델은 그런 상황을 인지하고 over-confident prediction을 하는 것을 막아야 한다.
그러면 OOD data를 어떻게 detect할 수 있을까?
- Existing approaches
  1. drop-out-based BNN approaches
  2. Deep ensembles (simple and perform well)
  3. distance-aware DNN (imposing constraints on the feature extracting process)
  4. evidential deep learning framework

6.2 Active Learning

aims to solve the data labeling issue by learning from a small amount of data choosing by the model what data it requires the user to label and retrain the model iteratively.
The goal is to reduce the number of labeled examples needed for learning as much as possible -> label이 이미 다 달려있는 데이터의 경우엔 딱히 해당되지 않음!!!!

6.3 Deep Reinforcement Learning

The purpose of deep reinforcement learning (DRL) is to train an agent interacting with the environment to maximize its total rewards
여기선 agent와 environment의 복잡한 조건과 제한된 훈련 상태로 인해 두가지 종류의 불확실성이 발생할 수 있음
- Data uncertainty : intrinsic randomness 때문에 생김, 이를 처리하기 위해 Distributional RL을 쓸 수 있다. reward function을 probabilistic perspective에서 학습하고, 이는 agent가 risk-aware behavior을 할 수 있도록 한다.
  1. Distributional RL
  2. curiosity-based learning
  3. Non-parametric Prediction Interval Methods
- Model uncertainty : limited training state space로 인해 발생. optimum policy를 학습하지 못하고, 더 높은 reward를 줄 수 있는 탐색하지 않은 공간을 놓칠 수 있음. 이 경우, Exploration과 Exploitation사이에서 균형을 맞춰야 함
  1. Deep Ensemble Q-Network
  2. Dropout Q-Functions
  3. adding a random prior to the ensemble DQNs

kyungheee commented 3 months ago

kyungheee commented 3 months ago

@kyungheee @rhycha 인사이트 정리해오기 숙제