search

josStorer / RWKV-Runner

A RWKV management and startup tool, full automation, only 8MB. And provides an interface compatible with the OpenAI API. RWKV is a large language model that is fully open source and available for commercial use.
https://www.rwkv.com
MIT License
5.31k stars 502 forks source link

切换模型失败 #360

Open lodyke opened 4 months ago

lodyke commented 4 months ago

{"detail":"failed to load: The MPS backend is supported on MacOS 12.3+.Current OS version can be queried using sw_vers"} 电脑系统版本为：12.7.4 ![Uploading image.png…]()

josStorer commented 4 months ago

用WebGPU模式

lodyke commented 4 months ago

用WebGPU模式

使用 WebGpu 模式 需要转化Safetensors 模式 ，转化提示：bad CPU type in executable: ./backend-rust/web-rwkv-converter 我切换为 WebGpu（python）时 进行转化成功，但是启动时报错信息为： {"detail":"failed to load: failed to request device"}

mianayo commented 4 months ago

您好，同样的问题：bad CPU type in executable: ./backend-rust/web-rwkv-converter，macos 14.5 ，AMD Radeon Pro 5700 XT 16 GB，无法使用webgpu转化，请问是不支持吗？

josStorer commented 4 months ago

您好，同样的问题：bad CPU type in executable: ./backend-rust/web-rwkv-converter，macos 14.5 ，AMD Radeon Pro 5700 XT 16 GB，无法使用webgpu转化，请问是不支持吗？

用webGPU(Python) 版转换，普通WebGPU转换器是arm架构的

josStorer commented 4 months ago

@lodyke failed to request device我也不知道是什么原因，看看 @mianayo 能不能使用成功

mianayo commented 4 months ago

@lodyke failed to request device我也不知道是什么原因，看看 @mianayo 能不能使用成功

还是不行，去https://github.com/Ai00-X/ai00_server 这里用网页上的各种办法，有一个可以转换，但是转换出来的.st无法加载，但是可以用webGPU(Python)模式直接加载这个：RWKV-x060-7B-World-v2.1.st。大佬看看是否可以帮忙直接转一个x060-14B的.st的模型，我们直接下载使用。（可能Mac电脑不支持转换？）感谢。

josStorer commented 4 months ago

这里有转好的 https://huggingface.co/cgisky/ai00_rwkv_x060/blob/main/x060-w021-14B.st https://huggingface.co/cgisky/ai00_rwkv_x060/tree/main

mianayo commented 4 months ago

这里有转好的 https://huggingface.co/cgisky/ai00_rwkv_x060/blob/main/x060-w021-14B.st https://huggingface.co/cgisky/ai00_rwkv_x060/tree/main

wow~多谢多谢！