40 TOPS 是个什么量级
TOPS 指每秒万亿次操作，但「操作」的定义很宽松：INT8 还是 INT4、是否稀疏、是否只统计 MAC 单元。厂商标 40 TOPS，通常指 INT8 稠密算力。换算成大家熟悉的单位，一张 RTX 4090 的 FP16 张量算力在 300 TFLOPS 以上，差着一个数量级还多。
所以「NPU 40 TOPS 能跑大模型」这句话，对一半，错一半。能跑，但跑的是小模型、短上下文、单人使用。
真正的瓶颈是内存带宽
大模型推理分两个阶段：prefill 处理输入，是算力密集；decode 逐 token 生成，是带宽密集——每生成一个 token，都要把全部权重从内存读一遍。
以 LPDDR5X-8533 双通道为例，理论带宽约 136GB/s。一个 7B 模型量化到 INT4 约 4GB，理论上限就是 136 ÷ 4 ≈ 34 token/s。这是物理上限，实际能到 15 到 25 就不错了，因为还有 KV cache 读写、系统占用和调度开销。
这也解释了为什么 NPU 的算力提升对 decode 帮助有限：算力再翻倍，内存还是那么快。
那 40 TOPS 用在哪
用在 prefill 和短任务上。语音降噪、实时字幕、图像分割、本地翻译、文档 OCR，这些任务的输入短、延迟敏感、对功耗敏感，NPU 的能效比远超 CPU，正是它的主场。
把它用来跑 70B 模型则是错配：权重放不下，带宽也不够，最后还是要走云端。
端侧的真实分工
| 任务 | 更适合的单元 | 原因 |
|---|---|---|
| 语音识别、降噪 | NPU/DSP | 常驻、低功耗、固定算子 |
| 图像超分、抠图 | NPU/GPU | 并行度高 |
| 7B 对话模型 | GPU（统一内存） | 受带宽限制，GPU 调度更成熟 |
| 70B 以上 | 云端 | 容量与带宽都不在端侧量级 |
买设备时该看什么
如果你打算在本地跑模型，优先看三件事：内存容量与带宽、显存是否与系统内存共享、以及推理框架对这个 NPU 的支持程度。TOPS 数字排在最后。
很多标称 40 TOPS 的机器，实际跑 7B 模型只有个位数 token/s，原因是框架还没适配好，算子回落到 CPU。参数好看，体验不一定跟得上。
我的判断
NPU 的价值不在「把大模型塞进笔记本」，而在「让 AI 功能常驻且不费电」。它更像是把语音、图像、输入法这些能力做成系统级基础设施，而不是替代显卡。
看到 40 TOPS 这种数字，先问一句：内存带宽多少、框架支持到什么程度。答不上来，这个数字就只是营销材料。
暂无评论内容