bd4sur / P40-GPU-Lottery

P40计算卡抽奖信息公示
3 stars 0 forks source link

参与一下,顺便也说下这个大概能干什么 #15

Open deathxlent opened 7 months ago

deathxlent commented 7 months ago

7B的float16应该是OK的 13B-int4应该是ok的,但是可能并发超过8(可能更小)或者本身的上下文设置较大,比如千问1.5直接设置32768,有可能运行中oom

以上基于日常使用得出,14B-int4理论上也能启动,但可能并发2-4就oom了

bd4sur commented 7 months ago

非常好经验♥来自幻想乡