This is an inference framework for the RWKV large language model implemented purely in native PyTorch. The official native implementation is overly complex and lacks extensibility. Let's join the flexible PyTorch ecosystem and open-source it together!
该代码将采样过程在gpu计算，减少cpu负载。
经过测试，在上述前提下的原始token解码比后续引入的更快。
ps: 暂时没有合入pytorch实现的最新更改，合入后我的显卡跑模型不收敛。（我也不知道为什么。