首页
人工智能
安全
开源
数码硬件
自建服务
游戏服务器
登录/注册/找回密码
登录
找回密码
快速登录
首页
人工智能
安全
开源
数码硬件
自建服务
游戏服务器
登录/注册/找回密码
登录
找回密码
快速登录
人工智能
第2页
大模型、智能体与AI前沿动态
排序
更新
浏览
点赞
评论
Ollama、llama.cpp、vLLM:本地推理的三条路线怎么选
三个项目加起来 40 万 star,但解决的是三个问题:一个把模型变成命令,一个是推理引擎,一个为吞吐重写调度。选错工具,比选错模型更常见。
# 开源项目
# AI大模型
# 模型部署
苏沂
9小时前
0
28
5
MCP 规范走到 2026-07-28:工具协议一年后,真正变的是什么
协议按日期版本化,仓库里躺着 schema/2026-07-28。一年过去,真正落地的是工具调用,而不是资源与提示;真正的难点也从协议转移到了实现。
# AI大模型
# 智能体
苏沂
9小时前
0
49
6
上下文工程:同一个模型,为什么换个结构就差一截
把目标、事实、待办、禁止项分开写,检索少而准,工具输出先裁剪,失败原因留在上下文里。四件事做完,同一模型的表现会明显不同。
# AI大模型
# 智能体
苏沂
9小时前
0
47
6
Q4_K_M、AWQ、FP8:量化到底在省什么,又会丢掉什么
权重只是显存的一部分,长上下文时 KV cache 才是大头。一篇讲清三种量化格式的取舍,以及为什么别只看困惑度。
# 模型部署
# GPU
苏沂
9小时前
0
25
7
端侧 NPU 的 40 TOPS,到底能干什么
40 TOPS 是 INT8 稠密算力,听起来很美;但 decode 阶段卡在内存带宽上。算一笔带宽账,就知道它能跑什么、不能跑什么。
# 芯片
# 消费电子
苏沂
9小时前
0
33
8
在手机上浏览此页面
登录
邮箱
验证码
发送验证码
记住登录
账号密码登录
登录
用户名或邮箱
登录密码
记住登录
找回密码
|
免密登录
登录
社交账号登录