人工智能 第2页
大模型、智能体与AI前沿动态
Ollama、llama.cpp、vLLM:本地推理的三条路线怎么选/SUENCA

Ollama、llama.cpp、vLLM:本地推理的三条路线怎么选

三个项目加起来 40 万 star,但解决的是三个问题:一个把模型变成命令,一个是推理引擎,一个为吞吐重写调度。选错工具,比选错模型更常见。
MCP 规范走到 2026-07-28:工具协议一年后,真正变的是什么/SUENCA

MCP 规范走到 2026-07-28:工具协议一年后,真正变的是什么

协议按日期版本化,仓库里躺着 schema/2026-07-28。一年过去,真正落地的是工具调用,而不是资源与提示;真正的难点也从协议转移到了实现。
苏沂的头像/SUENCA苏沂10小时前
0496
上下文工程:同一个模型,为什么换个结构就差一截/SUENCA

上下文工程:同一个模型,为什么换个结构就差一截

把目标、事实、待办、禁止项分开写,检索少而准,工具输出先裁剪,失败原因留在上下文里。四件事做完,同一模型的表现会明显不同。
苏沂的头像/SUENCA苏沂10小时前
0476
Q4_K_M、AWQ、FP8:量化到底在省什么,又会丢掉什么/SUENCA

Q4_K_M、AWQ、FP8:量化到底在省什么,又会丢掉什么

权重只是显存的一部分,长上下文时 KV cache 才是大头。一篇讲清三种量化格式的取舍,以及为什么别只看困惑度。
苏沂的头像/SUENCA苏沂10小时前
0257
端侧 NPU 的 40 TOPS,到底能干什么/SUENCA

端侧 NPU 的 40 TOPS,到底能干什么

40 TOPS 是 INT8 稠密算力,听起来很美;但 decode 阶段卡在内存带宽上。算一笔带宽账,就知道它能跑什么、不能跑什么。
苏沂的头像/SUENCA苏沂10小时前
0348