search

OpenBMB / MiniCPM

MiniCPM-2B: An end-side LLM outperforming Llama2-13B.
Apache License 2.0
4.67k stars 334 forks source link

[Feature Request]: 支持 MLC LLM #62

Closed cxzx150133 closed 6 months ago

cxzx150133 commented 6 months ago

Feature request / 功能建议

仓库地址：https://github.com/mlc-ai/mlc-llm

类似 ONNXRuntime，但是对国产化模型的支持更好，可以通过 web-llm 在支持 WebGPU 的浏览器上直接跑大模型。

THUCSTHanxu13 commented 6 months ago

我们适配了一个mlc-MiniCPM，支持文本和多模态模型，现在正在联系mlc团队往里面整合

cxzx150133 commented 6 months ago

我们适配了一个mlc-MiniCPM，支持文本和多模态模型，现在正在联系mlc团队往里面整合

看到了，不好意思看漏了，我到时候试下在 web-llm 上跑起来效果怎么样。

另外翻了下里面内置的模型下载地址，似乎没托管到 huggingface 上，请问后续有发布的计划吗，国内可以通过 hf-mirror.com 访问，速度应该不是问题。（这应该不算滥用吧

THUCSTHanxu13 commented 6 months ago

huggingface目前只托管了用Transformers跑的模型。托管到hf上的话有时候经常容易断，我们就直接放到oss云服务上了。感觉大家还是习惯用hf托管模型下载的话，我们最近也再在hf上放一份