binary-husky / gpt_academic

为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函数插件,支持Python和C++等项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LLM模型,支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
https://github.com/binary-husky/gpt_academic/wiki/online
GNU General Public License v3.0
65.16k stars 8.03k forks source link

推荐一下rwkv.cpp #691

Closed Asukaleo-aa closed 1 year ago

Asukaleo-aa commented 1 year ago

rwkv.cpp这个项目是将rwkv的模型转换成ggml,极大地提高了rwkv模型在纯cpu环境下的运行效率,目前rwkv在更新模型的时候也有提供转换好的版本,非常推荐引入一下这个模型

binary-husky commented 1 year ago

您好,我们在这个分支已经支持了rwkv:https://github.com/binary-husky/gpt_academic/tree/jittor 您可以通过主分支的docker-compose进行尝试:https://github.com/binary-husky/gpt_academic/blob/master/docker-compose.yml