search

wenge-research / YAYI

雅意大模型：为客户打造安全可靠的专属大模型，基于大规模中英文多领域指令数据训练的 LlaMA 2 & BLOOM 系列模型，由中科闻歌算法团队研发。(Repo for YaYi Chinese LLMs based on LlaMA2 & BLOOM)
https://www.wenge.com/yayi/index.html
Apache License 2.0
3.26k stars 44 forks source link

支持vllm? #8

Closed lx0126z closed 10 months ago

lx0126z commented 10 months ago

如题，会支持vllm吗？会有更快的推理速度。 https://github.com/vllm-project/vllm/blob/main/vllm/model_executor/models/yi.py

我尝试参照此改写，发现有num_kv_heads 和 share_kv_heads_num 的差异，我尝试改写加载参数时会报错。

他官方的添加方式是这个，https://docs.vllm.ai/en/latest/models/adding_model.html

wenge-research commented 10 months ago

YAYI和YAYI2都已成功适配vllm加速，我们不久会把代码提交到vllm仓库。

lx0126z commented 10 months ago

暂未在vllm的Pull requests中找到，期待您的提交