测试条件

  • 同一系统提示
  • 同一组工具:search_notes、append_note、get_time
  • 同一问题集:10 个偏工程场景的问题
  • 温度固定,关闭联网

我看的指标

  1. 是否按 schema 填参
  2. 工具失败后会不会改参重试
  3. 非工具问题会不会乱调用
  4. 回复是否过度解释

观察

维度模型 A模型 B
schema 合规更稳,偶发漏必填字段少见漏参,但有时多塞无关键
失败恢复会改参重试更常直接放弃并道歉
乱调用较克制对模糊问题更爱调工具
啰嗦度中等偏高

我的结论(只对这组测试有效)

  • 做结构化工具调用,模型 A 更省心。
  • 做探索型对话,模型 B 有时更主动,但要靠提示词压住乱调用。
  • 工具描述写清楚「什么时候不要用」,比继续堆参数说明更有效。

限制

样本只有 10 题,工具也只有 3 个。这只是我的现场记录,不是排行榜。