开源模型进入「落地竞争」：560B 旗舰量化到 4 卡，35B 多模态挤进 3GB 手机/SUENCA

开源模型的新竞争维度，变了

过去大家聊开源大模型，第一反应总是「多少参数、多少分」。但这周密集发布的几个权重模型，把竞争的重心悄悄挪到了另一个地方：不是比谁更大更强，而是比「你要用几张卡、多少内存，才能把它跑起来」。

最典型的是两个几乎同期的发布：一个是蚂蚁 Ling-3.1-flash，把一个 560B 参数的旗舰，量化到 4 张卡就能跑；另一个是面壁 MiniCPM-V 4.7，把一个 35B 的多模态 MoE，塞进约 3GB 内存、流畅跑在手机上。放在一起看，开源模型的「可部署性」，第一次成了一个能公开核对、能直接比价的维度。

560B 旗舰，怎么从 8 卡降到 4 卡

Ling-3.1-flash 是蚂蚁 inclusionAI 团队放上 Hugging Face 的旗舰 MoE，MIT 许可，总参数约 560B、每 token 激活约 25B，官方标称上下文最高 1M。架构上是「混合线性 MoE」：63 层 KDA 注意力 + 9 层门控 MLA + 4 层稠密，512 个路由专家、每 token 激活 8 个，加 1 个共享专家。

它真正值得说的地方在部署侧。团队给了一套混合精度方案（路由专家用 MXFP4、稠密部分用 FP8），把权重从约 534GB 压到约 292GB——降幅约 45%——在 Hopper 这类 GPU 上，部署需求从 8 卡降到 4 卡。一个 560B 的模型，第一次把「几卡能跑、量化后多大、什么许可」摆得这么清楚。对要做私有化选型的人来说，这等于有了可以核对的成本参照，而不是只能听厂商一句「很强」。

35B 多模态，怎么挤进 3GB 内存

MiniCPM-V 4.7 是面壁和 OpenBMB 社区的端侧多模态模型，35B-A3B（总参 350 亿、激活约 30 亿）是该系列第一个 MoE。它宣称是首个能在端侧「无损流畅」运行的开源 MoE：约 3GB 内存、iPhone 17 Pro Max 上 13+ token/s、iPad Pro M4 上 17+ token/s。

这里面的技术难点，其实比听上去更本质。MoE 模型总参很大、但每次只激活一小部分——问题是设备内存装不下所有专家权重。放 SSD 上按需加载会引入「读停顿」，卡住解码；固定一个专家子集又会让路由失真、掉能力。MiniCPM-V 4.7 用的是 Lookahead Expert Scheduling（LES）：用跨层路由预测，把下一层可能要用的专家提前预加载，加载和计算重叠进行。关键是它只改「预取和调度」，不改路由的最终选择——所以官方明确说，LES 开与关，模型的输出是一致的。再加上逐层量化和投机解码（DSpark），整体在真机上拿到约 5 倍加速。

两件事放在一起，是一条更重要的线索

单独看，这只是一个国产团队压缩了旗舰、另一个团队把模型做上了手机；合起来看，是一句更值得记的话：开源模型的竞争，已经从「模型能力」延伸到「部署能力」。

证据是它们的卖点，清一色是可量化、可复现的工程数字——几卡能跑、量化后多大、多少 GB 能上手机、多少 token/s。这跟一两年前「刷 benchmark」的画风已经不一样了。当权重开放、许可宽松、框架（SGLang/vLLM/llama.cpp/Ollama）Day-0 支持成为标配，「怎么低成本、低门槛地用起来」就成了下一个帕累托前沿。

但边界，也得老老实实说

按「规范性」和「真实性」的要求，有几个点不该含糊：

两家给出的性能对比，都是厂商自述，尚未有独立第三方复现——比如 MiniCPM-V 4.7 称「综合分高于 Qwen3.6 35B-A3B、用时更短」，Ling 的 benchmark 也是团队自己的口径；
Ling-3.1-flash 的激活参数，模型卡写着 25B，但 SGLang 的 cookbook 写的是约 17B，上下文也一个写 1M、一个写 256K，两份文档对不上——官方没解释差异，选型前务必实测你需要的上下文和吞吐；
「无损」指的是路由最终选择不变、输出一致，不等于「零量化损失」，两者是两个概念。

这些细节不影响「可部署性正在成为新卖点」这个判断，但值得在动手之前看清楚。