search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.32k stars 340 forks source link

可以在CMake中主动指定CUDA计算能力 #475

Closed fluxlinkage closed 4 months ago

fluxlinkage commented 4 months ago

CMake增加参数-DCMAKE_CUDA_ARCHITECTURES=xx可以手动指定CUDA计算能力。不增加该参数还是默认为native。 例如：使用RTX30系列游戏显卡，则可以指定-DCMAKE_CUDA_ARCHITECTURES=86。 一般情况下不需要手动指定，但是有些情况比较特殊，比如有多个不同架构的显卡，默认的native不总能正确工作。比如GPU0是一块RTX40系列显卡，GPU1是一块RTX30系显卡，默认native会大概率编译出计算能力89的程序（对应GPU0），这个程序就没法在GPU1上面正常运行。

ztxz16 commented 4 months ago

我最近编译大改了一下.. 里面也加了这个功能了 （不过另外一个fix没有，等您之后有时间可以再pr一下）

fluxlinkage commented 4 months ago

我最近编译大改了一下.. 里面也加了这个功能了 （不过另外一个fix没有，等您之后有时间可以再pr一下）

OK