Scaling the Codebook Size of VQGAN to 100,000 with a Utilization Rate of 99%

[AtsukiOsanai]

Scaling the Codebook Size of VQGAN to 100,000 with a Utilization Rate of 99%

Information

• Authors: Lei Zhu+
• Organization: Peking Univ, MSRA
• Paper: https://arxiv.org/abs/2406.11837
• Code: https://github.com/zh460045050/VQGAN-LC
• Conference/Journal:

Summary

サマリ図表

どんな論文か？

従来手法のVQGANのcodebookはその利用率が低く、codebookの数を増やしても性能が改善しないことの原因になっていると推定（LaMa3ではcodebookを増やすほどに性能が向上）。そこで、新たなcodebook学習のアーキテクチャを提案し、codebookの利用率、上限数を拡大することに成功。様々なダウンストリームタスクで従来のcodebookを上回る性能を達成。

新規性

結果

その他（なぜ通ったか？など）