-
### ⚠️ Please check that this feature request hasn't been suggested before.
- [X] I searched previous [Ideas in Discussions](https://github.com/ricklamers/gpt-code-ui/discussions/categories/ideas) di…
-
I tried to run from scratch the rwkn-4neo, I used my token vocab.json created , it still give me that error, I tried eveything , changed token nothing any hinch pls
Traceback (most recent call las…
-
如以下场景,本意是让模型回答不知道特斯拉的股价,然后调用搜索引擎去查。
但是在langchain中使用时,模型却生成了一堆对话内容:
能不能提高和langchain自带提示语模板的兼容性?
-
RWKV Raven 7B Gradio DEMO: https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B
CPU INT4: https://github.com/saharNooby/rwkv.cpp
100% CUDA version: https://github.com/harrisonvanderbyl/rwkv-cpp-c…
-
RWKV模型网址:https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio
![image](https://github.com/sunner/ChatALL/assets/22865420/f64987fb-655b-4b21-9862-1531be870062)
![image](https://github.com/sunner/Cha…
-
关于int8量化,有几个问题想请教一下
1. int8量化模型是什么如何生成的?使用GPTQ/RPTQ之类的方法,还是说仅仅对权重进行pertensor/perchannel的量化?
2. int8量化模型是如何推理的?是在kernel中进行将权重反量化回fp16,然后再和fp16的activation相乘吗?还是说activation也被量化乘int8了,进行int8 * int8的乘法…
-
**你想要什么功能或者有什么建议?**
加入自定义模型功能。
**有没有可以参考的同类竞品?**
是否可以参考 https://github.com/josStorer/chatGPTBox 加入自定义的模型,比如模型chatGLM-6B, chatRWKV, chatYuan。
**其他信息**
不开源的国内第三方chatgpt吃相太难看,开源的要么平台独占,要么功能不全,…
-
参考自:
https://github.com/BlinkDL/ChatRWKV/issues/102
https://github.com/BlinkDL/RWKV-LM/issues/118
首选感谢作者,开发了这么好的框架! 并开源, 必须支持一播,希望生态越来越好,好的环境从我做起 ! 奥利给~~。
cd /RWKV-LM
1、数据集
mkdir da…
-
Hey guys great stuff, can we have very easy setup step process to install ChatRWKV on a ubuntu server for example?
-
There is a seq model in ChatRWKV:
```
if seq_mode:
if 'cuda' in str(dev) and os.environ["RWKV_CUDA_ON"] == '1':
ATT = self.cuda_att_s…