总阅读量:次

⭐⭐⭐ Spring Boot 项目实战 ⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》 《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》 《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》 《Java 面试题 + Java 学习指南》

摘要: 原创出处 http://www.iocoder.cn/Fight/minicpm-small-llm/ 「芋道源码」欢迎转载，保留摘要，谢谢！

🙂🙂🙂关注微信公众号：【芋道源码】有福利：

  1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
  2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
  3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
  4. 新的源码解析文章实时收到通知。每周更新一篇左右。
  5. 认真的源码交流微信群。

面壁智能在 9 月 7 日把 MiniCPM5-2B 开源了，走的还是 OpenBMB 社区。这次不是只丢一个权重出来，训练配方、强化学习框架、数据集都跟着一起放了。

对想在自己机器上跑模型的人来说，这个尺寸挺有意思。官方 GGUF 仓库里 Q4_K_M 这一档只有 1.56GB，装在一台普通笔记本上就能跑起来。

OpenBMB/MiniCPM 仓库首页，Star 11.3k

这个模型是什么规格

它是 MiniCPM5 系列的第二个模型。这个系列今年 5 月发过一版 1B 的，2B 就是把 1B 的训练方案放大到 2B 规模。

规格上，参数量 25.2 亿，Llama 稠密架构，42 层，上下文原生支持 13.1 万 token。代码和权重都是 Apache-2.0，商用没有额外的许可顾虑。仓库现在一万多 Star。

面壁智能 MiniCPM 官方标识

架构用标准 Llama 这件事值得单独说。有些模型为了效果会自己改架构，结果跑它之前得先装作者魔改过的推理框架，版本还特别挑。MiniCPM5-2B 没这个问题，vLLM、SGLang 这类主流框架可以拿来就用，也不用自己编算子。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

跑分能排到什么位置

官方给了一份 34 项基准的对比表。同尺寸的对手是 LFM2.5-2.6B、Qwen3.5-2B、Gemma-4-E2B-it，另外还列了几个 4B 级的做参考。

MiniCPM5-2B 平均 53.9 分。三个同尺寸对手分别是 33.2、28.0 和 24.6。4B 级里最高的 Qwen3.5-4B 是 51.1，也没追上它。换句话说，这张表里比它大的模型全排在它后面。

官方公开评测对比表

分项里最强的是代码、数学、长文本和 Agent 这几块。代码智能体的 SWE-bench Verified 拿到 46.4，AIME 2025 和 2026 都是 86.5，代码生成的 LiveCodeBench v6 是 69.1，长文本的 AA-LCR 是 59.0。指令遵循这块 IFEval 是 86.7，综合知识的 MMLU-Pro 是 70.8、GPQA-Diamond 是 70.2，都排在同尺寸里靠前的位置。

与同级模型的能力雷达图

第三方那边，Artificial Analysis 的榜单上它综合 23 分，在 4B 以下的开源模型里排第一，Agentic Index 这一项是 20 分。

有两件事得交代。一是这张对比表是官方自己选的对象，第三方的大规模复测现在还没有，看个大概量级就行。二是第三方独立测试也给出了另一面，Humanity’s Last Exam 上它只有 9%，知识面的宽度和长上下文理解仍然是这一档尺寸的天花板。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

比模型更值得看的，是那四样配套

配套开源的一共四样，完整训练配方、强化学习框架 Meshy、JustRL II 算法，还有 UltraData 数据集。

训练分三段，base training、mid-training、后训练。后训练又是 SFT、RL、OPD 三步。先用 400B tokens 深度思考数据做 SFT，再用带 critic 的 JustRL II 做 RL，这一步主要为了训练稳定，最后用 OPD 把 16 个 RL 专家模型合并回一个，其中 5 个是 agentic 专家。

三段式训练流程

效果给了数字。RL 加 OPD 走完，推理和通用能力平均涨 10.96 分，Agent 能力平均涨 6.96 分。

RL 加 OPD 之后的分数增益

数据集开了四个。UltraX 管网页预训练，UltraData-Code 管代码数据分级治理，UltraData-SFT-Agent-2609 收了 50 万条 Agent 训练样本，UltraData-RL-2609 有 8 万多条，覆盖数学、代码、通用知识与长文本推理。

这部分我觉得比模型本身值得说。开源模型很多只给权重，怎么训出来的你根本不知道，想复现或者拿自己的数据接着练，只能自己一点点试。

怎么把它跑起来

部署这件事它做得挺省事。标准 Llama 架构，主流推理引擎可以直接加载，不需要自定义算子，也不用 fork 模型代码。

推理后端官方列了九个，Transformers、vLLM、SGLang、llama.cpp、Ollama、LM Studio、MLX、LiteRT-LM 和 ArcLight。微调有五个，TRL 加 PEFT、LLaMA-Factory、ms-swift、unsloth、xtuner。本地跑的话，llama.cpp 这条路最直接。

llama-server -m MiniCPM5-2B-Q4_K_M.gguf -a MiniCPM5-2B --port 8080 -ngl 99 -c 8192 --jinja

-c 8192 是上下文长度，按需要改就行。调用的时候采样参数建议用官方那一组，temperature=1.0、top_p=0.95、min_p=0.0。这里有个反直觉的点，min_p 一定要设成 0。llama.cpp 默认是 0.05，会把概率低于最高概率 token 5% 的那些词过滤掉，而这些词恰恰可能是模型摆脱重复循环所需要的，官方明确把它关掉。如果还是遇到重复输出，可以再加一个 repetition_penalty=1.05。

还有一个提速的路子。官方另外训了一个 DSpark 草稿模型，挂在 SGLang 里做投机采样，解码会快一些，而且输出结果不变。

芯片这边，英特尔、瑞芯微和 Arm 都做了 Day0 适配，Arm 给出的数据是支持 SME2 的移动设备上预填充快 1.7 倍、解码快 1.2 倍。智源的 FlagOS 社区把模型适配到了 9 种芯片，Nvidia 之外还有海光、沐曦、摩尔线程、昆仑芯和昇腾这些。

另外仓库里有个 skills/ 目录，官方把部署和微调的经验整理成了 Agent Skills，顶层两个分别管推理路由和微调路由，Cursor 或者 Claude Code 这类编程助手可以直接读这些文件来帮你干活。

端侧这条路，面壁走了三年

面壁在这个系列上一直没去追大参数，就做端侧。MiniCPM 系列到 2026 年 8 月，全球下载量已经过了 5000 万，说明这个方向是成立的。

我个人最在意的是 Agent 那块。拆任务、调工具这种活，以前默认得云端大模型来干，小模型干不了。现在 2B 的模型在 Agentic Index 上跟同级拉开了明显距离，本地跑一个能干活的助手这件事，可能比大家想的要快。

但 2B 就是 2B。写长文、复杂推理这种活还是得交给云端大模型，这一点没什么可争的。至于要不要拿它替掉云端 API，先在本机跑通一个具体任务再判断，光看跑分表做不了这个决定。

链接都放在这里

文章目录
  1. 1. 这个模型是什么规格
  2. 2. 跑分能排到什么位置
  3. 3. 比模型更值得看的，是那四样配套
  4. 4. 怎么把它跑起来
  5. 5. 端侧这条路，面壁走了三年
  6. 6. 链接都放在这里