是否计划支持多gpu负载，是否计划实现兼容chatgpt的api，是否计划采用某种量化机制？

cryscan / web-rwkv

Implementation of the RWKV language model in pure WebGPU/Rust.

Other

210 stars 15 forks source link

Closed appleatiger closed 10 months ago

appleatiger commented 11 months ago

如题。

cryscan commented 11 months ago

计划先实现兼容ChatGPT的API（会是另外的repo）以及量化，再考虑多GPU。

kknd222 commented 11 months ago

大佬坐等API啊，没有API现在只能命令行操作

cryscan commented 11 months ago

大佬坐等API啊，没有API现在只能命令行操作