是否支持量化的模型呀？

[laoda513]

你好，请问是否支持量化的模型，比如gptq？

如果可以的话，按照比例计算的话，我有8张24g的显卡的话，用流水线并行，是不是可以lora 175b版本量化模型了？

谢谢~

[laoda513]

另外有没有官方群呀？

[QipengGuo]

方法本身是模型无关的，所以理论上是支持量化过的模型的（只要还是用pytorch并且没有修改反向过程），但我们没有测试过。另外好像GPTQ是Post-Training Quantization方法，所以训练效果不一定有保证。

[laoda513]

看了论文，我理解下来这主要是一种训练时的优化器，对比传统的adam等优化器，大幅降低了训练时的内存开销。 可以这么理解嘛？

[QipengGuo]

基本是这样，主要是整合了各种减少显存占用的技术，以及一些保持训练稳定性的技巧。