SqueezeLLM: Dense-and-Sparse Quantization

[tera1k]

0. 論文

https://arxiv.org/abs/2306.07629

Sehoon Kim, Coleman Hooper, Amir Gholami, Zhen Dong, Xiuyu Li, Sheng Shen, Michael W. Mahoney, Kurt Keutzer

1. どんなもの？

量子化してモデルサイズ小さくする

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？