Open ArlanCooper opened 1 year ago
请问部署推理,最小的GPU显存需要多大呢?以及内存需要多大? int8量化后最小显存需要多少呢?int4量化之后需要的最小显存是多少呢?
it is about 10G GPU Memory, and I had traind it in V100 for one epoch using five days.
Required prerequisites
Questions
请问部署推理,最小的GPU显存需要多大呢?以及内存需要多大? int8量化后最小显存需要多少呢?int4量化之后需要的最小显存是多少呢?
Checklist