Open klxqlehua opened 2 months ago
你好,这篇文章和代码实现细看了下,如果我想接入一个新的模型来支持infLLM,需要哪些满足条件,个人理解:
你的理解是对的,基本上目前使用 rope 的模型都可以使用 infLLM. 我们没有太多时间维护这个仓库,现在主要用于提供论文结果复现. 如果你需要适配其他开源模型,可以参照 patch.py 中的实现,加入其他模型的 attention forward 替换.
好的,感谢你的回复。
你好,这篇文章和代码实现细看了下,如果我想接入一个新的模型来支持infLLM,需要哪些满足条件,个人理解: