bd4sur / P40-GPU-Lottery

P40计算卡抽奖信息公示
3 stars 0 forks source link

最近搞炼丹炉 #27

Open yopoyan opened 7 months ago

yopoyan commented 7 months ago

在搭建Qwen1.5,不知道P40还是2080怎么选?

bd4sur commented 7 months ago

主要看预算。我个人认为,对于推理场景而言,玩LLM,显存似乎更重要一些。大显存可以用更大的上下文、更多的模型参数。至于推理的速度,我觉得够用就好,除非有特别的需求。