Closed amazingYX closed 2 years ago
非常感谢你能开源论文的代码。在阅读你的代码的时候,我对模型中 can_be_stateful 参数的含义不是很理解,不知道它的取值对模型有什么影响,你解释一下吗?
可以参考知乎这篇文章的第一个加速方法,这个can_be_stateful就是为了加速强化学习阶段和inference阶段的速度的,主要就是缓存之前已生成序列的k和v
非常感谢,这对我帮助很大
非常感谢你能开源论文的代码。在阅读你的代码的时候,我对模型中 can_be_stateful 参数的含义不是很理解,不知道它的取值对模型有什么影响,你解释一下吗?