Closed netwjx closed 2 days ago
之前介绍的 LM Studio 在 macOS 限定 (Apple Silicon - M1/M2/M3), 刚刚好不支持Intel CPU, 而这个Jan.ai则是支持CPU
一般7B模型需要5G内存, 3B需要3G内存, 2B需要1.5G内存, 小模型理论上可以在手机上运行.
推理速度取决于你的CPU性能, 比如我的 2.6GHz 6 核 Intel Core i7, 7B模型大概 4 tokens/s, Apple M3 大概18 tokens/s
模型推荐最近刚发布的 Qwen 2 7B, 内存不够可以试试 Qwen 2 1.5B , Phi-3 Mini 或 Gemma 2B
https://jan.ai/
之前介绍的 LM Studio 在 macOS 限定 (Apple Silicon - M1/M2/M3), 刚刚好不支持Intel CPU, 而这个Jan.ai则是支持CPU
一般7B模型需要5G内存, 3B需要3G内存, 2B需要1.5G内存, 小模型理论上可以在手机上运行.
推理速度取决于你的CPU性能, 比如我的 2.6GHz 6 核 Intel Core i7, 7B模型大概 4 tokens/s, Apple M3 大概18 tokens/s
模型推荐最近刚发布的 Qwen 2 7B, 内存不够可以试试 Qwen 2 1.5B , Phi-3 Mini 或 Gemma 2B
https://jan.ai/