最近搞炼丹炉

[yopoyan]

在搭建Qwen1.5,不知道P40还是2080怎么选？

[bd4sur]

主要看预算。我个人认为，对于推理场景而言，玩LLM，显存似乎更重要一些。大显存可以用更大的上下文、更多的模型参数。至于推理的速度，我觉得够用就好，除非有特别的需求。