search

bilibili / Index-1.9B

A SOTA lightweight multilingual LLM
Apache License 2.0
907 stars 48 forks source link

index-1.9b能像gemma-2b那样运行在手机上吗 #34

Open Chaos-woo opened 2 months ago

Chaos-woo commented 2 months ago

https://www.kaggle.com/models/google/gemma/tfLite/

Devin0202 commented 2 months ago

https://www.kaggle.com/models/google/gemma/tfLite/

大佬您好，index-1.9b是可以在移动端上运行的。 目前，我们验证过的环境如下， 系统：Android cpu：骁龙888，骁龙888+，骁龙8gen1 框架：llama.cpp，ollama

具体实操还请大佬按照框架文档，自行部署。

Chaos-woo commented 2 months ago

感谢回答٩( 'ω' )و 最近在想flutter上能不能用小一点的模型进行一些本地内容归纳生成，简单推理之类的

Chaos-woo commented 1 day ago

最近找到了ChatterUI的app可以运行各种小模型，准备试用一下