中文 | English

MiniCPM 技术博客 | MiniCPM 知识库 | MiniCPM 论文 | MiniCPM-V 仓库 | 加入我们的 discord 和 微信群

更新日志🔥

• [2024.09.28] LLMxMapReduce 开源，支持MiniCPM3-4B，理论上支持无限长文本输入！
• [2024.09.18] SGLang 已经支持 MiniCPM3-4B (推荐使用)！由于 SGLang v0.3 对 MiniCPM3 中使用的 MLA 结构进行了推理优化，吞吐量相比于 vLLM 提高 70%！[用法]
• [2024.09.16] llama.cpp 已经官方支持 MiniCPM3-4B！[GGUF模型|用法]
• [2024.09.05] 发布 MiniCPM3-4B！该模型的表现超越 Phi-3.5-mini-instruct 和 GPT-3.5-Turbo-0125，并且能够比肩 Llama3.1-8B-Instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat 等多个 7B-9B 参数量的模型。
• [2024.07.09] MiniCPM-2B 已经支持使用 SGLang 推理！
• [2024.07.05] 发布 MiniCPM-S-1B！该模型在保持下游任务性能无损的前提下，FFN 层实现了 87.89% 的平均稀疏度，将 FFN FLOPs 降低了 84%。
• [2024.04.11] 发布 MiniCPM-2B-128k、MiniCPM-MoE-8x2B 和 MiniCPM-1B！点击这里查看技术博客。
• [2024.03.16] MiniCPM-2B 的 30 余个中间检查点开放了！HuggingFace链接
• [2024.02.01] 发布 MiniCPM-2B！该模型在公开评测集上与 Mistral-7B 表现相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。

目录

• 模型下载
• MiniCPM 3.0
  • 评测结果
  • 综合评测
  • 工具调用能力
  • 长文本能力
  • 模型推理
  • HuggingFace
  • vLLM
  • llama.cpp
  • 模型微调
  • LLaMA-Factory
  • 进阶功能
  • 工具调用
  • 代码解释器
• MiniCPM 2.0
• MiniCPM 1.0

模型下载

注: 更多模型版本见这里。

MiniCPM 3.0

MiniCPM 3.0 是一个 4B 参数量的语言模型，相比 MiniCPM1.0/2.0，功能更加全面，综合能力大幅提升，多数评测集上的效果比肩甚至超越众多 7B-9B 模型。

• 支持工具调用🛠️（Function Calling）和代码解释器💻（Code Interpreter）：Berkeley Function Calling Leaderboard (BFCL) 上取得 9B 规模以下 SOTA，超越 GLM-4-9B-Chat、Qwen2-7B-Instruct。
• 超强的推理能力🧮：数学能力方面，MathBench 上的效果超越 GPT-3.5-Turbo 以及多个 7B-9B 模型。在非常具有挑战性的 LiveCodeBench 上，效果超越 Llama3.1-8B-Instruct。
• 出色的中英文指令遵循能力🤖：英文指令遵循 IFEval、中文指令遵循 FollowBench-zh 效果超越 GLM-4-9B-Chat、Qwen2-7B-Instruct。
• 长文本能力：原生支持 32k 上下文长度，32k 长度内大海捞针全绿。提出 LLMxMapReduce ，理论可处理的上下文长度达到 +∞，在综合性长文本评测基准 InfiniteBench 平均得分超越GPT-4、KimiChat等标杆模型。
• RAG能力：我们发布了 MiniCPM RAG 套件。基于 MiniCPM 系列模型的 MiniCPM-Embedding、MiniCPM-Reranker 在中文、中英跨语言检索测试中取得 SOTA 表现；针对 RAG 场景的 MiniCPM3-RAG-LoRA 在开放域问答等多项任务上超越 Llama3-8B、Baichuan2-13B 等模型。

评测结果

综合评测

工具调用能力

我们在 Berkeley Function Calling Leaderboard (BFCL) 上测试了模型的工具调用能力，MiniCPM3-4B 在该榜单上的表现超越了多个 7B-9B 参数量的模型，优于 GPT-3.5-Turbo-0125。

长文本能力

在 32k 的上下文长度进行大海捞针测试，结果如下图：

同时我们提出LLMxMapReduce，利用分治的策略，理论上可以处理无限长度的文本。我们在InfiniteBench上测试了模型的长文本处理能力，在LLMxMapReduce框架的加持下，MiniCPM3-4B在这个榜单的平均得分能够超越 GPT-4、KimiChat 等标杆模型。

模型推理

Huggingface

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM3-4B'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "请写一篇关于人工智能的文章，详细介绍人工智能的未来发展和隐患。", temperature=0.7, top_p=0.7)
print(responds)

SGLang（推荐）

• 安装

参考 SGLang 官方仓库，通过源码安装最新版本。

• 启动推理服务

  python -m sglang.launch_server --model openbmb/MiniCPM3-4B --trust-remote-code --port 30000 --chat-template chatml

• 使用示例

  
  from sglang import function, system, user, assistant, gen, set_default_backend, RuntimeEndpoint

@function def multi_turn_question(s, question_1, question_2): s += user(question_1) s += assistant(gen("answer_1", max_tokens=1024)) s += user(question_2) s += assistant(gen("answer_2", max_tokens=1024))

set_default_backend(RuntimeEndpoint("http://localhost:30000"))

state = multi_turn_question.run( question_1="介绍一下人工智能", question_2="写一篇关于它的文章", )

for m in state.messages(): print(m["role"], ":", m["content"])

#### vLLM
* 安装 vllm
  ```shell
  pip install "vllm>=0.6.2"

• 推理

  from transformers import AutoTokenizer
  from vllm import LLM, SamplingParams
  
  model_name = "openbmb/MiniCPM3-4B"
  prompt = [{"role": "user", "content": "请写一篇关于人工智能的文章，详细介绍人工智能的未来发展和隐患。"}]
  
  tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
  input_text = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)
  
  llm = LLM(model=model_name,
    trust_remote_code=True,
    tensor_parallel_size=1
  )
  sampling_params = SamplingParams(top_p=0.7, temperature=0.7, max_tokens=1024)
  
  outputs = llm.generate(prompts=input_text, sampling_params=sampling_params)
  
  print(outputs[0].outputs[0].text)

llama.cpp

我们提供了 MiniCPM3 的 GGUF 版本，可以直接使用 llama.cpp 推理。

• 安装 llama.cpp

  git clone https://github.com/ggerganov/llama.cpp
  cd llama.cpp
  make 

• 推理

  ./llama-cli -c 1024 -m minicpm3-4b-fp16.gguf -n 1024 --top-p 0.7 --temp 0.7 --prompt "<|im_start|>user\n请写一篇关于人工智能的文章，详细介绍人工智能的未来发展和隐患。<|im_end|>\n<|im_start|>assistant\n"

模型微调

LLaMA-Factory

目前模型微调支持 LLaMA-Factory，使用方法参考 LLaMA-Factory 微调。

进阶功能

对于以下进阶功能，我们的样例代码中使用 vLLM 进行推理。

工具调用

我们提供了使用 MiniCPM3 调用工具的示例代码：

cd demo/minicpm3/function_call
python function_call.py

如果你想启动一个能够调用工具的推理服务，使用以下代码：

cd demo/minicpm3/function_call
pip install -r requirements.txt
python openai_api_server.py \
    --model openbmb/MiniCPM3-4B \
    --served-model-name MiniCPM3-4B \
    --chat-template chatml.jinja \
    --dtype auto \
    --api-key token-abc123 \
    --tensor-parallel-size 1 \
    --trust-remote-code

下面是一个调用搜索工具回答问题的演示：

代码解释器

我们提供了一个 MiniCPM3 使用代码解释器的示例代码：

cd demo/minicpm3/code_interpreter
pip install -r requirements.txt
python code_interpreter.py openbmb/MiniCPM3-4B

下面是一个使用代码解释器生成二维码的演示：

MiniCPM 2.0

MiniCPM 1.0

开源协议

模型协议

• 本仓库中代码依照 Apache-2.0 协议开源
• MiniCPM 模型权重的使用则需要遵循 MiniCPM 模型商用许可协议。
• MiniCPM 模型权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

声明

• 作为一个语言模型，MiniCPM 通过学习大量的文本来生成内容，但它无法理解、表达个人观点或价值判断，它所输出的任何内容都不代表模型开发者的观点和立场。
• 因此用户在使用 MiniCPM 生成的内容时，应自行负责对其进行评估和验证。
• 如果由于使用 MiniCPM 开源模型而导致的任何问题，包括但不限于数据安全问题、公共舆论风险，或模型被误导、滥用、传播或不当利用所带来的任何风险和问题，我们将不承担任何责任。

开发机构

本项目由以下机构共同开发：

• 面壁智能
• 清华大学自然语言处理实验室

工作引用

• 如果觉得MiniCPM有助于您的工作，请引用我们的论文

@article{hu2024minicpm,
  title={MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies},
  author={Hu, Shengding and Tu, Yuge and Han, Xu and He, Chaoqun and Cui, Ganqu and Long, Xiang and Zheng, Zhi and Fang, Yewei and Huang, Yuxiang and Zhao, Weilin and others},
  journal={arXiv preprint arXiv:2404.06395},
  year={2024}
}