-
# Matryoshka Representation Learning Review
blog도 개설한겸 논문한편을 리뷰해보고자 한다. 정말 오랜만에 작성하는 리뷰이다. 이 논문의 제목은
Matryoshka Representation Learning 으로 Neurips'22 에 accept된 논문이다.
학습된 representation (예를 들어 encoder…
-
See["Causal Representation Learning from Multiple Distributions: A General Setting"](https://arxiv.org/abs/2402.05052) for one description of the problem setup in the case of purely observational data…
-
**What is one hot encoding?**
One hot encoding is one way to prepare data for an algorithm and improve prediction for categorical data, which are variables made up of label values. With one-hot, we c…
-
Thanks for shareing the wonderful work of UV-Net.
I have a question about the unsupervised representation learning proposed in section 4.2.3 of the paper of UV-Net.
I tried an unsupervised represent…
-
### 論文へのリンク
[[arXiv:1711.00937] Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937)
### 著者・所属機関
Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu
- DeepMind
##…
-
## 一言でいうと
Data Augmentationを用いる強化学習で、事前に表現学習を行いその後に通常通りの強化学習を行う研究。表現学習は時系列が近い状態を近いと(Augmentationをかけても)認識できるよう対照学習を行う。その後強化学習を行う。初回からEnd2Endより高い性能を観測
### 論文リンク
https://arxiv.org/abs/2009.08319…
-
## Abstract
- propose Vector Quantised Variational AutoEncoder (VQ-VAE)
- generative model that learns discrete representations
- prior is learnt rather than static
- solves the issue of "po…
-
## 一言でいうと
タスクをまたぐ潜在表現を獲得させる試み。通常のVAEに、クラス識別を行う分布を併せて学習する。上層は新タスク(既存のモデルでは精度が低いサンプル)に適応したコンポーネントを動的に追加していき、(タスク共通と学習する)下層は破壊的忘却を防ぐため生成モデルを併用した学習を行う。
![image](https://user-images.githubusercontent…
-
## 一言でいうと
VAEを利用して離散の潜在表現を学習する試み。Encoderの出力に近いベクトルを埋め込み空間から検索し、そこからDecoderで復元する。分布はEncoderの出力に近いところに1、それ以外が0であるone-hotな分布として定義される。これにより離散表現を獲得できるだけでなく、Decoderが強力すぎる場合に潜在表現が学習されない問題を克服している。
![ima…
-
- https://arxiv.org/abs/1711.00937
- 2017
監督なしで有用な表現を学習することは、機械学習における重要な課題である。
本論文では、このような離散的な表現を学習する、シンプルで強力な生成モデルを提案する。
我々のモデル、VQ-VAE(Vector QuantisedVariational AutoEncoder)は、2つの重要な点でVAEとは異なる…
e4exp updated
3 years ago