Closed cxzx150133 closed 6 months ago
我们适配了一个mlc-MiniCPM,支持文本和多模态模型,现在正在联系mlc团队往里面整合
我们适配了一个mlc-MiniCPM,支持文本和多模态模型,现在正在联系mlc团队往里面整合
看到了,不好意思看漏了,我到时候试下在 web-llm 上跑起来效果怎么样。
另外翻了下里面内置的模型下载地址,似乎没托管到 huggingface 上,请问后续有发布的计划吗,国内可以通过 hf-mirror.com 访问,速度应该不是问题。(这应该不算滥用吧
huggingface目前只托管了用Transformers跑的模型。托管到hf上的话有时候经常容易断,我们就直接放到oss云服务上了。感觉大家还是习惯用hf托管模型下载的话,我们最近也再在hf上放一份
Feature request / 功能建议
仓库地址:https://github.com/mlc-ai/mlc-llm
类似 ONNXRuntime,但是对国产化模型的支持更好,可以通过 web-llm 在支持 WebGPU 的浏览器上直接跑大模型。