方法

把内部 MCP / 网关暴露的同一组工具 schema（健康查询、日志检索等）交给不同模型，固定 30 个用户问法，统计：

• 是否选对工具
• 参数是否通过校验
• 是否在不该调用时硬调写工具

温度压低，提示词相同。

结果梗概

• 中等指令模型（调教好的 14B～32B）：只读工具选对率高，偶尔把别名写错
• 偏推理蒸馏模型：爱先长篇分析再调工具，延迟高；有时分析对了却忘了调用
• 小模型（7B）：简单查询还行，复杂「先查健康再查日志」链式易跳步或编参数

乱参最常见：把展示名当 alias、把百分比传成字符串、confirm 乱造。这反而证明 MCP 侧 Pydantic 硬校验有价值——挡在网关前。

配置上的调整

• 写工具只挂在更稳的模型别名上，或要求宿主人工批准
• 推理模型用于「出主意」，执行工具换指令模型（工作流里拆开）
• 工具描述里用「何时不要调用」例句，比只写功能有用

模型评测若只看 GSM8K，看不出它会不会把新版本流量比例填成 很多。工具场景要单独集。

转载请注明：周志洋的博客 » 工具调用对比测试：谁稳、谁爱瞎编参数