引言
开源权重模型的爆发，让“在自己机器上跑大模型”从极客消遣变成了寻常操作：Qwen、Llama、DeepSeek、GLM 一代代放出来，Ollama 一条命令就能拉起服务，LM Studio 点两下鼠标就能开聊。但很多人的真实体验是——同一个模型，本地跑就是不如官方 API 聪明。是开源权重偷偷留了一手，还是哪里出了问题？
8 月下旬，Level1Techs 论坛上的一篇长帖《Why your local LLM feels dumber than it is》再次把这个问题摆上台面。帖子的标题本身就是论点：你的本地模型未必真的笨，是跑它的那层“壳”打了折。
事件要点
这类“折扣”在社区里积累的案例相当一致，通常集中在四处：
1. 被静默截断的上下文。 以 Ollama 为代表的本地推理工具，长期以来默认上下文长度低得惊人（早期甚至只有 2048 token，后来才逐步上调）。而现实使用中，一份超长的 system prompt、几段 RAG 拼进来的检索文档、再加多轮对话历史，很快就会顶破这个窗口。此时工具往往不报错，而是悄悄丢掉队列里的内容——最讽刺的是，被丢掉的常常是最新那条指令。模型不是“忘了”，是根本没看到。症状也很典型：答非所问、丢人设、忽笨忽聪明，重开一个会话又好了。
2. 量化档位。 为了把模型塞进显存或统一内存，社区默认普遍压在 Q4_K_M 这一档；显存更紧张的玩家还会下探到 Q2、Q3。量化对常识问答影响不大，但长链路推理、代码生成、数学运算往往最先崩。再加上 KV cache 有时也会被顺手量化，同一个"7B"在不同档位下，实际是两个表现不同的模型。
3. 采样参数与对话模板。 temperature、top_p、repetition penalty 的默认值未必匹配模型卡上的推荐配置；而当前端与模型的 chat template 对不上时，模型收到的相当于一张格式错误的考卷——权重再好也发挥不出来。
4. 带宽与耐心。 解码阶段受内存带宽限制，消费级硬件上长输出慢如挤牙膏。等待会改变人的判断：输出慢了，用户更早打断、更少追问，主观评分再打一次折。
背景/影响
这件事的深层背景，是评测分数与真实体感之间的落差，往往来自 serving 层而非模型层。官方 API 背后是经过精细配置的 vLLM、SGLang 之类推理栈，上下文、采样、模板都是调过的；而本地工具的默认值追求的是“人人都能跑起来”，而不是“跑好”。同一个开源权重，两边跑出的其实是两种服务。
对开源生态而言，这也是一个提醒：默认值是产品决策。Ollama 后来上调默认上下文，正是社区多年抱怨换来的结果。对普通玩家，几条实操建议是现成的：显式设置上下文长度而不是信默认值；量化档尽量留在 Q5 以上，小模型宁可上 Q8；核对模型卡推荐的采样参数和模板；最后用真实任务做 A/B，而不是靠“感觉”。
简短点评
当我们说“模型能力”时，其实说的是“权重 × 推理配置 × 前端”三者的乘积。开源社区把权重这一项迅速拉平之后，差异正在往推理层迁移——这也解释了为什么各家推理框架开始卷上下文管理、投机解码和量化算法。对本地玩家来说，这反倒是个好消息：你手里那个“笨模型”，可能只差几行配置就找回它本来的样子。先别急着怪权重，看看壳。