RWKV is an RNN with transformer-level LLM performance. It can be directly trained like a GPT (parallelizable). So it's combining the best of RNN and transformer - great performance, fast inference, saves VRAM, fast training, "infinite" ctx_len, and free sentence embedding.
首先,非常感谢作者的开源工作;然后我想要训练一个自己的中文模型,但是我在模型训练过程中遇到了一些问题:
当我使用rwkv-4-raven系列模型报错信息:![image](https://github.com/BlinkDL/RWKV-LM/assets/8379742/92e15679-5f80-4c7e-81cf-1d240fd0e97c)
当我使用rwkv-4-pile-3b系列模型报错信息:![image](https://github.com/BlinkDL/RWKV-LM/assets/8379742/e6a8f83e-43e8-4d8e-a498-c7062aac5850)
环境:python-3.10.6, torch==2.0.1+cu117(也试过torch==1.13.1+cu117同样报上面错误)