Closed laoda513 closed 1 year ago
另外有没有官方群呀?
方法本身是模型无关的,所以理论上是支持量化过的模型的(只要还是用pytorch并且没有修改反向过程),但我们没有测试过。另外好像GPTQ是Post-Training Quantization方法,所以训练效果不一定有保证。
看了论文,我理解下来这主要是一种训练时的优化器,对比传统的adam等优化器,大幅降低了训练时的内存开销。 可以这么理解嘛?
基本是这样,主要是整合了各种减少显存占用的技术,以及一些保持训练稳定性的技巧。
你好,请问是否支持量化的模型,比如gptq?
如果可以的话,按照比例计算的话,我有8张24g的显卡的话,用流水线并行,是不是可以lora 175b版本量化模型了?
谢谢~