模型部署共4篇
排序
Q4_K_M、AWQ、FP8：量化到底在省什么，又会丢掉什么/SUENCA

Q4_K_M、AWQ、FP8：量化到底在省什么，又会丢掉什么

人工智能
苏沂的头像/SUENCA9小时前
0257
开源模型进入「落地竞争」：560B 旗舰量化到 4 卡，35B 多模态挤进 3GB 手机/SUENCA

开源模型进入「落地竞争」：560B 旗舰量化到 4 卡，35B 多模态挤进 3GB 手机

开源
苏沂的头像/SUENCA9小时前
04513
816B 模型跑进两台 Mac Studio，但 Meta 的许可证里有三条附加条款/SUENCA

816B 模型跑进两台 Mac Studio，但 Meta 的许可证里有三条附加条款

人工智能
苏沂的头像/SUENCA9小时前
04713
Ollama、llama.cpp、vLLM：本地推理的三条路线怎么选/SUENCA

Ollama、llama.cpp、vLLM：本地推理的三条路线怎么选

人工智能
苏沂的头像/SUENCA9小时前
0275