Harness 核心 · 模型周围的 Harness

可观测性

事件流可视化、Token 追踪、OpenTelemetry 集成

本页解决的问题

先给结论

「可观测性」要解决的关键问题是什么?

事件流可视化、Token 追踪、OpenTelemetry 集成

判断标准

让这个结论先证明自己值得留下。 把这一页当成决策工具,而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果,以及一个能改变你判断的失败上。

下一步

写下一个问题:试完这个方法后,你能用什么证据回答它?

常见误区

结论听起来很完整,却没有检查最关键的假设。

实时监控台
就绪 · 点击按钮开始模拟
事件流 Event Stream
等待任务启动…
⏱️
总耗时
s
🧠
LLM 调用
0
🔧
工具调用
0
📥
输入 Token
0
📤
输出 Token
0
💰
预估费用
¥0.00
📁
文件变更
0
设计决策
📌 设计决策 1
没有可观测性 = 黑箱。当用户问「Agent 怎么这么慢」或「这次怎么花了这么多钱」,你需要数据来回答。
📌 设计决策 2
每个事件类型都是一个产品决策点:text 用于流式展示、tool_start/end 用于进度条、usage 用于计费、error 用于告警。
📌 设计决策 3
示例系统 用 OpenTelemetry 标准记录所有 spans:agent.turn、llm.request、tool.execution、context.compress。这让你可以用任何 APM 工具分析性能。
Takeaway Agent 不是黑箱:通过事件流,你可以实时看到它在想什么、做什么、花了多少钱。可观测性是产品运营的基础设施:没有它,你无法优化成本、排查故障、改善体验。

「实时监控台」如何改变一次回答

「事件流可视化、Token 追踪、OpenTelemetry 集成」说明,模型处理的不是我们眼中的“字数”,而是一段段 Token。Token 的切分方式会影响输入长度、上下文能放下多少内容,以及一次请求要花多少计算。

长度、信息量和上下文不是一回事

当「事件流可视化、Token 追踪、OpenTelemetry 集成」变长时,先要分清三件事:文字被切成多少 Token、哪些内容真正参与当前判断、以及旧内容是否已经超出上下文窗口。删掉重复说明通常比单纯把窗口开得更大更有效。

先保留会改变判断的内容

可以用「事件流可视化、Token 追踪、OpenTelemetry 集成」做一次对照:保留同样的问题,分别删掉重复背景、压缩格式和移除无关历史,比较答案质量、延迟与 Token 数量。

从「实时监控台」走到「设计决策」

「实时监控台」先把问题落在「▶ 模拟一次任务 重置 就绪 · 点击按钮开始模拟 事件流 Event Stream 等待任务启动… ⏱️ 总耗时 — s 🧠 LLM 调用 0 次 🔧 工具调用 0 次 📥 输入 Token 0 📤 输出 Token 0 💰 预估费用 ¥ 0.00 📁 文件变更 0 个」上;到了「设计决策」,讨论继续推进到「📌 设计决策 1 没有可观测性 = 黑箱。 当用户问「Agent 怎么这么慢」或「这次怎么花了这么多钱」,你需要数据来回答。 📌 设计决策 2 每个事件类型都是一个产品决策点: text 用于流式展示、tool_start/end 用于进度条、usage 用于计费、error 用于告警。 📌 设计决策 3 示例系统 用 OpenTelemetry 标准 记录所有 spans:agent.turn、llm.req…」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。

把这条判断带到下一个场景

处理长文本时,先保留会改变结论的内容,再决定如何压缩格式和历史;上下文更长只有在新增信息真正有用时才值得付出代价。

  • 「实时监控台」:▶ 模拟一次任务 重置 就绪 · 点击按钮开始模拟 事件流 Event Stream 等待任务启动… ⏱️ 总耗时 — s 🧠 LLM 调用 0 次 🔧 工具调用 0 次 📥 输入 Token 0 📤 输出 Token 0 💰 预估费用 ¥ 0.00 📁 文件变更 0 个
  • 「设计决策」:📌 设计决策 1 没有可观测性 = 黑箱。 当用户问「Agent 怎么这么慢」或「这次怎么花了这么多钱」,你需要数据来回答。 📌 设计决策 2 每个事件类型都是一个产品决策点: text 用于流式展示、tool_start/end 用于进度条、usage 用于计费、error 用于告警。 📌 设计决策 3 示例系统 用 OpenTelemetry 标准 记录所有 spans:agent.turn、llm.req…

最后的「最后把结论落到实践」把讨论落到「事件流可视化、Token 追踪、OpenTelemetry 集成」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 可观测性 模型周围的 Harness
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助