「先截断上下文，再怪模型笨」：你的本地大模型可能被跑法拖累了
一篇论坛长帖把矛头指向推理层：默认量化、静默截断的上下文与采样参数，常让同一个开源模型在本地看起来笨了一截。
该标签下共 1 篇文章 查看全部
一篇论坛长帖把矛头指向推理层：默认量化、静默截断的上下文与采样参数，常让同一个开源模型在本地看起来笨了一截。