测试条件
- 同一系统提示
- 同一组工具:
search_notes、append_note、get_time - 同一问题集:10 个偏工程场景的问题
- 温度固定,关闭联网
我看的指标
- 是否按 schema 填参
- 工具失败后会不会改参重试
- 非工具问题会不会乱调用
- 回复是否过度解释
观察
| 维度 | 模型 A | 模型 B |
|---|---|---|
| schema 合规 | 更稳,偶发漏必填字段 | 少见漏参,但有时多塞无关键 |
| 失败恢复 | 会改参重试 | 更常直接放弃并道歉 |
| 乱调用 | 较克制 | 对模糊问题更爱调工具 |
| 啰嗦度 | 中等 | 偏高 |
我的结论(只对这组测试有效)
- 做结构化工具调用,模型 A 更省心。
- 做探索型对话,模型 B 有时更主动,但要靠提示词压住乱调用。
- 工具描述写清楚「什么时候不要用」,比继续堆参数说明更有效。
限制
样本只有 10 题,工具也只有 3 个。这只是我的现场记录,不是排行榜。