用自己的工作比较模型，不要只看榜单
做一份小型场景评测，比较质量、工具调用、延迟、成本、隐私和失败恢复。模型只有相对于任务、约束和可承受的失败才有“最好”。
本页解决的问题
先给结论「用自己的工作比较模型，不要只看榜单」要解决的关键问题是什么？
做一份小型场景评测，比较质量、工具调用、延迟、成本、隐私和失败恢复。模型只有相对于任务、约束和可承受的失败才有“最好”。
评测表面像基准，背后其实是产品决策。 从真实工作流取样，加入糟糕输入，并记录失败后发生什么。一个总分无法告诉你模型是否适合上线。
先收集五条真实输入，再比较两个模型。
用不包含你场景的公开排名选出赢家。
先用榜单筛出候选，再选择那个能在你的代表性任务上通过测试、同时把总成本和风险控制在可接受范围内的模型——别忘了重试、工具调用、延迟和人工复核。
收集真实输入
抽取成功、普通、含糊、多语言和对抗性案例。去掉私人数据，或先拿到合适的授权。
定义什么算通过
写出可观察的规则：必须有的字段、允许的引用、代码测试、拒答边界，或最多修改几次。
让模型做同一件事
尽量保持提示词、工具、上下文、温度、输出格式和重试政策一致，并记录准确的模型 ID。
别只给文字打分
把断言检查、任务成功率、延迟、Token 用量、工具调用准确率、拒答质量和校准过的人工样本放在一起看。
改动后重新跑
模型、提示词、检索、政策或工具发生变化后都要重跑。质量会漂移。
| 维度 | 要问的问题 | 记录什么 | 通过信号 |
|---|---|---|---|
| 任务质量 | 输出解决了用户真正的问题吗？ | 通过率、评分表分数、修正时间 | 满足写下来的验收标准 |
| 依据 | 它使用了给定来源，并承认证据不足吗？ | 引用准确率、无依据的说法 | 每个重要判断都能追溯 |
| 工具调用 | 它能正确选择、调用工具，并从错误中恢复吗？ | 参数、不必要调用、恢复率 | 没有不安全的绕路，也拿到了正确结果 |
| 运行表现 | 系统能在用户和预算限制内响应吗？ | p50/p95 延迟、成本、错误、重试 | 每个完成任务的总成本稳定 |
| 安全与数据 | 它遵守隐私、政策和高风险边界吗？ | 拒答、泄露测试、保留条款 | 安全行为可预测、可复核 |
一个很惊艳的 Demo。 Demo 只能证明模型会做某件事，不能证明它能稳定地反复完成你的整个工作流。
一个综合分数。 榜单准确率小幅提升，可能抵不过延迟、价格或接入工作的明显增加。
没有固定版本的模型名。 “Latest” 这类别名会变化。每次结果都保存服务商、模型 ID、日期、提示词版本和评测集。
「五步评测法」要放回选型约束
「先用榜单筛出候选，再选择那个能在你的代表性任务上通过测试、同时把总成本和风险控制在可接受范围内的模型——别忘了重试、工具调用、延迟和人工复核」说明，模型、许可证、接入方式和榜单都只是信息，不是脱离场景的答案。真正的选择取决于任务、数据边界、延迟、质量下限和运行成本。
先写淘汰条件，再看最高分
「抽取成功、普通、含糊、多语言和对抗性案例。去掉私人数据，或先拿到合适的授权」涉及的比较，至少要使用同一组真实输入，并同时观察正确性、失败方式、响应时间和费用。一个在公开榜单上领先的模型，可能因为许可证、隐私要求或峰值延迟不适合你的任务。
- 自己的失败案例，比巨大的通用测试集更有价值
- 质量、成本、延迟、工具调用和安全应该放在同一张评分表里
- 模型比较永远不会真正结束： 重要改动后要重新跑一遍
没有测试集，就没有可靠的赢家
以「没有固定版本的模型名。」为起点，选几条真正会影响决策的输入，写下一个会改变选择的反例；这比记住一次排名更能支持下一次判断。
从「五步评测法」走到「一张可以复用的模型评分表」
「五步评测法」先把问题落在「抽取成功、普通、含糊、多语言和对抗性案例。去掉私人数据，或先拿到合适的授权」上；到了「一张可以复用的模型评分表」，讨论继续推进到「维度 要问的问题 记录什么 通过信号 任务质量 输出解决了用户真正的问题吗？ 通过率、评分表分数、修正时间 满足写下来的验收标准 依据 它使用了给定来源，并承认证据不足吗？ 引用准确率、无依据的说法 每个重要判断都能追溯 工具调用 它能正确选择、调用工具，并从错误中恢复吗？ 参数、不必要调用、恢复率 没有不安全的绕路，也拿到了正确结果 运行表现 系统能在用户和预算限制内响应吗？ p50/p95 延迟、成本、错误、重试…」。两段连起来，重点就不只是记住一个结论，而是看清它成立所依赖的条件。
把这条判断带到下一个场景
做模型选择时，先用真实任务写出不能妥协的条件，再用同一组输入比较质量、失败方式、延迟、许可和成本；榜单只适合作为起点。
- 「五步评测法」：抽取成功、普通、含糊、多语言和对抗性案例。去掉私人数据，或先拿到合适的授权
- 「一张可以复用的模型评分表」：维度 要问的问题 记录什么 通过信号 任务质量 输出解决了用户真正的问题吗？ 通过率、评分表分数、修正时间 满足写下来的验收标准 依据 它使用了给定来源，并承认证据不足吗？ 引用准确率、无依据的说法 每个重要判断都能追溯 工具调用 它能正确选择、调用工具，并从错误中恢复吗？ 参数、不必要调用、恢复率 没有不安全的绕路，也拿到了正确结果 运行表现 系统能在用户和预算限制内响应吗？ p50/p95 延迟、成本、错误、重试…
- 「最后的要点」：模型比较永远不会真正结束： 重要改动后要重新跑一遍
最后的「最后的要点」把讨论落到「模型比较永远不会真正结束： 重要改动后要重新跑一遍」。回看这条线索时，最值得保留的是：当输入、规模或风险改变，哪些判断需要重新做一遍。
✅ 这页想和你分享的事
- 榜单是发现工具，不是采购决策。
- 自己的失败案例，比巨大的通用测试集更有价值。
- 质量、成本、延迟、工具调用和安全应该放在同一张评分表里。
- 模型比较永远不会真正结束：重要改动后要重新跑一遍。
团队以前总拿公开榜单替代自己的测试，结果上线后才发现真实输入完全不同。现在先留十几个脱敏样本，哪怕很小，也比只看总分可靠。
比较模型时，准确率、响应速度和成本应该怎么加权？如果不同岗位对“好答案”的定义不一样，是不是要维护多套评测集？
可以增加一个最小评测表模板：输入、期望行为、实际输出、失败类型、人工处理时间。这样评测就不只是给模型打分，也能直接支持选型。
还没有这篇文章的讨论。