Generalizing Dataset Distillation via Deep Generative Prior, George Cazenavette+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.01649

  Affiliations

  • George Cazenavette, N/A
  • Tongzhou Wang, N/A
  • Antonio Torralba, N/A
  • Alexei A. Efros, N/A
  • Jun-Yan Zhu, N/A

    Abstract

  • Dataset Distillation aims to distill an entire dataset's knowledge into a fewsynthetic images. The idea is to synthesize a small number of synthetic datapoints that, when given to a learning algorithm as training data, result in amodel approximating one trained on the original data. Despite recent progressin the field, existing dataset distillation methods fail to generalize to newarchitectures and scale to high-resolution datasets. To overcome the aboveissues, we propose to use the learned prior from pre-trained deep generativemodels to synthesize the distilled data. To achieve this, we present a newoptimization algorithm that distills a large number of images into a fewintermediate feature vectors in the generative model's latent space. Our methodaugments existing techniques, significantly improving cross-architecturegeneralization in all settings.

    Translation (by gpt-3.5-turbo)

• Dataset Distillationは、数個の合成画像に全データセットの知識を凝縮することを目的としています。このアイデアは、学習アルゴリズムにトレーニングデータとして与えられると、元のデータでトレーニングされたモデルに近似するモデルを生成するために、少数の合成データポイントを合成することです。この分野での最近の進歩にもかかわらず、既存のデータセット蒸留方法は、新しいアーキテクチャに汎化することができず、高解像度のデータセットにスケールすることができません。これらの問題を克服するために、我々は事前にトレーニングされた深層生成モデルから学習された事前分布を使用して、蒸留されたデータを合成することを提案します。これを実現するために、我々は、多数の画像を生成モデルの潜在空間内の数個の中間特徴ベクトルに蒸留する新しい最適化アルゴリズムを提案します。我々の手法は既存の技術を拡張し、すべての設定でクロスアーキテクチャの汎化を大幅に改善します。

  Summary (by gpt-3.5-turbo)

• Dataset Distillationは、少数の合成データポイントを使用して元のデータでトレーニングされたモデルに近似することを目的としています。しかし、既存の方法は新しいアーキテクチャに汎化することができず、高解像度のデータセットにスケールすることができません。そこで、事前にトレーニングされた深層生成モデルから学習された事前分布を使用して、蒸留されたデータを合成することを提案し、新しい最適化アルゴリズムを提案しています。この手法は、クロスアーキテクチャの汎化を大幅に改善することができます。

[AkihikoWatanabe]

プロジェクトページ https://georgecazenavette.github.io/glad/