search

wenge-research / YAYI2

YAYI 2 是中科闻歌研发的新一代开源大语言模型，采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。(Repo for YaYi 2 Chinese LLMs)
Apache License 2.0
3.61k stars 17 forks source link

请问一下yayi模型如何加速部署呢？ #7

Closed cgq0816 closed 5 months ago

cgq0816 commented 8 months ago

如题，看了一下vllm-project/vllm，好像并没有支持yayi

wenge-research commented 5 months ago

您好，vllm目前已适配完成，后续会适时更新。