参与一下，顺便也说下这个大概能干什么

bd4sur / P40-GPU-Lottery

P40计算卡抽奖信息公示

3 stars 0 forks source link

Open deathxlent opened 7 months ago

deathxlent commented 7 months ago

7B的float16应该是OK的 13B-int4应该是ok的，但是可能并发超过8（可能更小）或者本身的上下文设置较大，比如千问1.5直接设置32768，有可能运行中oom

以上基于日常使用得出，14B-int4理论上也能启动，但可能并发2-4就oom了

bd4sur commented 7 months ago

非常好经验♥来自幻想乡