大模型原理 · 产品下面的模型

训练 vs 推理:两个不同的过程

对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑

本页解决的问题

先给结论

「训练 vs 推理:两个不同的过程」要解决的关键问题是什么?

对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑

判断标准

先检查模型究竟看到了什么。 把指令、参考材料、历史、工具和输出规则拆开。上下文变得可见后,通常更容易选对修复方式。

下一步

在修改 Prompt 或模型之前,先画出一个小流程的输入和输出。

常见误区

不断增加文字,但真正的问题其实是相关性、顺序或缺少边界。

对比
类比学生考试:训练 = 多年备考,反复刷题,记住知识  →  推理 = 上考场作答,参数冻结,不再学习新东西
训练(Training)
在海量数据上调整数十亿个参数,让模型记住世界知识。
执行频率一次性
算力需求千~万块 GPU
参数状态持续更新
成本数亿美元
时长数周~数月
推理(Inference)
用固定参数,针对你的输入生成回答。每次对话参数完全不变。
执行频率每次对话
算力需求1~数块 GPU
参数状态完全冻结
计费按 Token 计费
时长1~10 秒/次
互动实验:你说的话会改变参数吗?
Context Window(上下文窗口)
AI
你好!有什么我可以帮你的?
模型参数(示意)
🔒 参数完全冻结
对话不改变任何权重
你和 AI 说的话,不会修改任何参数。今天告诉它「你叫小明」,明天重开对话它不记得,因为对话只存在于上下文,对话不是学习。

「互动实验:你说的话会改变参数吗」如何改变一次回答

「对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑」说明,模型处理的不是我们眼中的“字数”,而是一段段 Token。Token 的切分方式会影响输入长度、上下文能放下多少内容,以及一次请求要花多少计算。

长度、信息量和上下文不是一回事

当「对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑」变长时,先要分清三件事:文字被切成多少 Token、哪些内容真正参与当前判断、以及旧内容是否已经超出上下文窗口。删掉重复说明通常比单纯把窗口开得更大更有效。

先保留会改变判断的内容

可以用「对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑」做一次对照:保留同样的问题,分别删掉重复背景、压缩格式和移除无关历史,比较答案质量、延迟与 Token 数量。

从这个例子继续往下看

页面先提出「发送 Context Window(上下文窗口) AI 你好!有什么我可以帮你的? 模型参数(示意) 🔒 参数完全冻结 对话不改变任何权重 你和 AI 说的话, 不会修改任何参数 。今天告诉它「你叫小明」,明天重开对话它不记得,因为对话只存在于上下文, 对话不是学习」。接下来不要只记住这句话,可以把它变成一个小练习:写下输入、预期结果,以及什么现象会让你重新检查这个判断。

把这条判断带到下一个场景

处理长文本时,先保留会改变结论的内容,再决定如何压缩格式和历史;上下文更长只有在新增信息真正有用时才值得付出代价。

  • 「互动实验:你说的话会改变参数吗」:发送 Context Window(上下文窗口) AI 你好!有什么我可以帮你的? 模型参数(示意) 🔒 参数完全冻结 对话不改变任何权重 你和 AI 说的话, 不会修改任何参数 。今天告诉它「你叫小明」,明天重开对话它不记得,因为对话只存在于上下文, 对话不是学习

最后做一次小而可逆的练习:把页面里的判断放进一个真实输入,写下预期结果和会让你停下来复核的信号。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 训练 vs 推理:两个不同的过程 产品下面的模型
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助