← 返回资讯列表

AI 与硬件

OpenBMB 发布 MiniCPM-V 4.7:35B-A3B MoE 多模态模型可在手机本地运行

OpenBMB 发布 MiniCPM-V 4.7:35B-A3B MoE 多模态模型可在手机本地运行
配图来源:AI 发现 · @shao__meng

完整中文导读

OpenBMB 发布 MiniCPM-V 4.7,这是一个 35B-A3B 的开源 MoE 多模态模型,在 iPhone 17 Pro Max 上仅占 3 GB 内存,解码速度 13+ tokens/s,另有轻量 1B 版本面向资源受限硬件。

中文整理

作者 / 来源:meng shao (@shao__meng) · 原文时间:2026年10月14日 10:48(北京时间)

原作者信息要点

OpenBMB 发布 MiniCPM-V 4.7,作者称其为首个能在手机本地流畅运行且不牺牲性能的开源 MoE 多模态模型,参数规模为 35B-A3B。

作者称在 iPhone 17 Pro Max 上该模型仅占 3 GB 内存,解码速度 13+ tokens/s。

作者介绍两项关键技术。其一为 LES(前瞻专家调度),原理是 MoE 专家权重不必全部驻留内存,可放在闪存中按需加载;LES 通过跨层路由预测预判下一层所需专家并提前加载,同时优先计算已在内存中的专家,以压低加载停顿,配合量化和存储布局优化,在真实设备上取得约 5 倍加速。作者认为这属于系统层面创新而非模型结构创新,本质是把瓶颈从内存容量转移到闪存带宽加预测命中率。

其二为 SRFT(自回放微调),面向开发者微调,思路是微调窄任务前先让模型为一批覆盖原有能力的通用 prompt 生成回答,经拒绝采样筛选后,以 Task:Replay = 4:1 混入任务数据做普通 SFT,训练流程不变只改数据。作者称关键洞察是标签必须 on-policy,消融实验显示同样数据量下自生成标签把通用能力退化压到 1.58 分,外部标签只能压到 5.58;跨四个模型验证遗忘降低 80%–99%,任务性能基本无损。

OpenBMB 官方帖称该模型可读取真实世界标牌、围绕约束做规划、解析复杂文档并对视觉数据推理;除 35B-A3B 外还有轻量 1B 变体,面向资源受限硬件提供多模态理解能力;支持 iOS 到 Android 本地运行。官方给出 GitHub、Hugging Face 集合页及 SRFT 博客链接。

本站整理与观察

以下为本站推论,非原文陈述。材料中关于性能的数字(3 GB 内存、13+ tokens/s、约 5 倍加速、1.58 与 5.58 分、遗忘降低 80%–99%)均来自作者或官方表述,本站未独立验证,也未提供测试条件、基线定义或评测方法。

材料未说明 35B-A3B 中激活参数的具体含义、量化精度、测试所用系统版本与上下文长度,也未给出 1B 变体的具体指标。

LES 与 SRFT 的命名、机制描述及消融数据均出自发布方,属于发布方声称;其中 SRFT 的 on-policy 标签结论来自其自述消融实验,本站无法核实实验设置。

材料未提供第三方复现、横向对比或独立评测,因此“不牺牲性能”“任务性能基本无损”等表述应视为发布方主张而非已验证事实。

本整理仅依据所给材料,未独立验证任何性能数字、加速比、内存占用或消融结果;材料未包含测试环境细节、基线定义、第三方复现或完整技术报告,因此无法确认模型在真实设备上的实际表现与通用性。所有涉及效果与对比的表述均归属原作者或 OpenBMB 官方,本站观察仅为基于文本的推论。

上下文来源:1

本文为来源内容的中文摘要与整理,不代表原文全文翻译。完整信息请查阅来源原文。

打开来源原文 ↗返回资讯列表