有什么办法既可以开启cuda自定义算子，又不会出现乱码

josStorer / RWKV-Runner

A RWKV management and startup tool, full automation, only 8MB. And provides an interface compatible with the OpenAI API. RWKV is a large language model that is fully open source and available for commercial use.

https://www.rwkv.com

MIT License

5.31k stars 502 forks source link

有什么办法既可以开启cuda自定义算子，又不会出现乱码 #371

Open wuyougg opened 3 months ago

wuyougg commented 3 months ago

我的750ti在开启cuda自定义算子之后出现乱码(用的是1.5b模型)，如果关闭的话差不多7s一个字(即使我使用最低精度)，我曾经在ollama使用llama3.1的7b版本，大约2s一个字，现在没有资金换显卡，请问有什么办法既可以开启cuda自定义算子，又不会出现乱码，或者怎么在ollama上使用rwkv模型

BlinkDL commented 3 months ago

可以用WebGPU后端试试