kkdai / bookmarks

Repo to storage all my favorite links
15 stars 0 forks source link

微软的phi-3-mini模型,4位量化后可部署在iPhone 14上,只占用1.8G内存,每秒输出12个Token。能力上与Mixtral 8x7B和GPT-3.5相当。 #1516

Open kkdai opened 4 months ago

kkdai commented 4 months ago

{ "summary": "微软的phi-3-mini模型,4位量化后可部署在iPhone 14上,只占用1.8G内存,每秒输出12个Token。能力上与Mixtral 8x7B和GPT-3.5相当。", "full_content": "微软的这个 phi-3-mini 模型有点强啊。\n\n4 位量化之后可以部署在 iPhone 14 上,只占用 1.8G 内存,每秒输出 12 个 Token 。\n\n关键他们说这个模型能力上跟 Mixtral 8x7B 和 GPT-3.5 差不多。", "url": "https://twitter.com/op7418/status/1630511587516983296", "tags": ["微软", "phi-3-mini", "4位量化", "iPhone 14", "Mixtral 8x7B", "GPT-3.5", "自然语言处理", "人工智能", "神经网络"] }