agatan
commented
4 years ago All Word Embeddings from One Embedding
- NeurIPS 2020
- https://arxiv.org/abs/2004.12073
NLP のモデルは大体 (D x V) の巨大な Embedding Matrix を必要とするが、これをランダムな定数 Matrix と学習可能な FFN で代替することを提案している。
ある単語 w の Embedding はランダムな定数 Matrix の w 番目のベクトルを FFN に通したものとし、E2E で FFN を学習させる。
さらにランダムな定数 Matrix に一工夫加えることで (D x V) の空間計算量を大幅に削減している。
評価は Word Embedding Reconstruction と Machine Translation で、両方とも実用上問題ないパフォーマンスを出しつつパラメータ数の大幅な削減を達成している。
Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples
GAN の安定性を高める手法の提案。 Generator の損失を計算する時に、全ての生成画像に対する損失ではなく、うまく生成できた（Critic を騙せた）画像 Top K 枚だけを使って損失を計算するだけ。 一行足すだけ、みたいな簡単な方法にも関わらず、生成のクオリティも上がり、Mode のカバー率も上昇している。 （なんでうまく行くのかはいまいち理解できていない...誰か解説して欲しい...）
hakubishin3
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. #67 (RecSys があったのでめちゃくちゃ久しぶり！）
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！