Harness 核心 · 模型周围的 Harness
短期记忆 = 上下文窗口
消息列表可视化,每条消息的 Token 占用和角色标记
本页解决的问题
先给结论「短期记忆 = 上下文窗口」要解决的关键问题是什么?
消息列表可视化,每条消息的 Token 占用和角色标记
判断标准
让这个结论先证明自己值得留下。 把这一页当成决策工具,而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果,以及一个能改变你判断的失败上。
下一步
写下一个问题:试完这个方法后,你能用什么证据回答它?
常见误区
结论听起来很完整,却没有检查最关键的假设。
上下文窗口使用率
0% 0 / 131,072 Token
⚠️ 即将触发压缩策略
模型的工作台(上下文窗口 = 128K Token)
共 10 步 · 观察工作台如何被填满
Takeaway
Takeaway 上下文窗口是模型的唯一工作记忆。128K Token 看似很大,但每轮对话都要重发全部历史消息。10 轮深度对话 + 一份长文档,就可能把窗口撑满。管理上下文,就是管理产品的记忆寿命。
「短期记忆 = 上下文窗口」如何改变一次回答
「消息列表可视化,每条消息的 Token 占用和角色标记」说明,模型处理的不是我们眼中的“字数”,而是一段段 Token。Token 的切分方式会影响输入长度、上下文能放下多少内容,以及一次请求要花多少计算。
长度、信息量和上下文不是一回事
当「消息列表可视化,每条消息的 Token 占用和角色标记」变长时,先要分清三件事:文字被切成多少 Token、哪些内容真正参与当前判断、以及旧内容是否已经超出上下文窗口。删掉重复说明通常比单纯把窗口开得更大更有效。
先保留会改变判断的内容
可以用「消息列表可视化,每条消息的 Token 占用和角色标记」做一次对照:保留同样的问题,分别删掉重复背景、压缩格式和移除无关历史,比较答案质量、延迟与 Token 数量。
从这个例子继续往下看
页面先提出「消息列表可视化,每条消息的 Token 占用和角色标记」。接下来不要只记住这句话,可以把它变成一个小练习:写下输入、预期结果,以及什么现象会让你重新检查这个判断。
把这条判断带到下一个场景
处理长文本时,先保留会改变结论的内容,再决定如何压缩格式和历史;上下文更长只有在新增信息真正有用时才值得付出代价。
- 「短期记忆 = 上下文窗口」:消息列表可视化,每条消息的 Token 占用和角色标记
最后做一次小而可逆的练习:把页面里的判断放进一个真实输入,写下预期结果和会让你停下来复核的信号。
标记为已学完 阅读进度会自动记录
我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。
读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。
如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。
还没有这篇文章的讨论。