上下文 ≠ 记忆
白板(上下文窗口)和笔记本(长期记忆)的区别,为什么需要两套系统
本页解决的问题
先给结论「上下文 ≠ 记忆」要解决的关键问题是什么?
白板(上下文窗口)和笔记本(长期记忆)的区别,为什么需要两套系统
让这个结论先证明自己值得留下。 把这一页当成决策工具,而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果,以及一个能改变你判断的失败上。
写下一个问题:试完这个方法后,你能用什么证据回答它?
结论听起来很完整,却没有检查最关键的假设。
白板(上下文窗口)
笔记本(长期记忆)
读写极快
容量有限
对话结束即消失
容量大(可扩展)
需要写入决策
检索需要额外步骤
「白板(上下文窗口)」为什么能找到相关内容
「白板(上下文窗口)和笔记本(长期记忆)的区别,为什么需要两套系统」把检索问题从“把资料存起来”推进到“怎样找到真正相关的资料”。这一步决定了 RAG、推荐和以图搜图最后交给模型的输入质量。
相似度不是答案,召回之后还要核对
在「白板(上下文窗口)和笔记本(长期记忆)的区别,为什么需要两套系统」对应的流程里,Embedding 负责把对象放到可比较的语义空间,近邻索引负责减少搜索范围,最终的回答仍然依赖召回片段是否覆盖问题、距离指标是否合适,以及内容有没有过期。
先区分找得到和找得准
把「白板(上下文窗口)和笔记本(长期记忆)的区别,为什么需要两套系统」落成一次小测试:准备几条有明确答案的查询,记录召回的相关性、遗漏和无关结果,再决定是否需要换切分方式、索引或重排。
从「白板(上下文窗口)」走到「笔记本(长期记忆)」
「白板(上下文窗口)」先把问题落在「对话过程中的临时工作区。写满了就写不下了,对话结束就擦干净。 对话结束,白板已擦除」上;到了「笔记本(长期记忆)」,讨论继续推进到「跨会话保留的持久存储。这次写下的,下次打开还在。可以翻页、可以搜索。 第 1 页 播放动画 ↺ 重置」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。
把这条判断带到下一个场景
检索系统也可以这样看:先确定什么算相关,再观察召回是否覆盖问题,最后检查排序、切分和时效性有没有把真正有用的内容挤出去。
- 「白板(上下文窗口)」:对话过程中的临时工作区。写满了就写不下了,对话结束就擦干净。 对话结束,白板已擦除
- 「笔记本(长期记忆)」:跨会话保留的持久存储。这次写下的,下次打开还在。可以翻页、可以搜索。 第 1 页 播放动画 ↺ 重置
- 「为什么需要两套系统」:上下文窗口 随时可用 读写极快 容量有限 对话结束即消失 ≠ 长期记忆 跨会话保留 容量大(可扩展) 需要写入决策 检索需要额外步骤 类比: 上下文窗口就像开会时的白板,大家讨论时随手写写画画,会议结束就擦了。长期记忆就像会议纪要:有人负责整理关键结论,写进文档里,下次开会时翻出来参考。 上下文是 AI 的草稿纸,关掉就没了;记忆是 AI 的笔记本,下次还能翻。 一个好的 AI 产品需要两套系统协作:上下文负责当场记…
最后的「为什么需要两套系统」把讨论落到「上下文窗口 随时可用 读写极快 容量有限 对话结束即消失 ≠ 长期记忆 跨会话保留 容量大(可扩展) 需要写入决策 检索需要额外步骤 类比: 上下文窗口就像开会时的白板,大家讨论时随手写写画画,会议结束就擦了。长期记忆就像会议纪要:有人负责整理关键结论,写进文档里,下次开会时翻出来参考。 上下文是 AI 的草稿纸,关掉就没了;记忆是 AI 的笔记本,下次还能翻。 一个好的 AI 产品需要两套系统协作:上下文负责当场记…」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。
我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。
读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。
如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。
还没有这篇文章的讨论。