大模型原理

产品下面的模型

从训练数据和 Token 预测,走到聊天界面、幻觉和缓解方案。把产品决策放回技术原因里,而不是跟着热点猜。

19 篇札记开放阅读 · 无需登录
大模型原理19篇札记

本页解决的问题

先给结论

「产品下面的模型」AI 学习路径适合解决什么问题?

从训练数据和 Token 预测,走到聊天界面、幻觉和缓解方案。把产品决策放回技术原因里,而不是跟着热点猜。 路线包含 19 篇免费札记,每篇聚焦一个可以独立搜索、理解和验证的问题。

判断标准

核心主题包括:基础原理、从补全到对话、幻觉与四种应对、篇章汇总。

下一步

从「AI 的食物:训练数据」开始,再按当前任务选择下一篇。

常见误区

不要为了完成目录而跳过实践;能用自己的例子解释一个取舍,比读完更多标题更重要。

这条路径会练什么

从第一篇打开

每个章节都围绕一类真实决策展开。可以顺着走,也可以从正在处理的工作切入。

19篇札记
01AI 的食物:训练数据15T Token 是什么概念?语料构成可视化 + 数据规模直觉滑块交互3 min02训练 vs 推理:两个不同的过程对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑概念3 min03词表与训练从语料到词间矩阵,Token 化 + 注意力权重交互演示交互3 min04Base 模型:Token 推 Token 机器训练结束后得到什么?逐步生成 + 概率分布实时更新动画3 min05GPT 的跃进:PreTraining 改变一切CNN / RNN / BERT / GPT 四种算法可交互对比,记忆衰减可视化交互3 min06chat/completions 之谜明明是对话,为什么 API 叫「补全」?打字机动画解读动画3 min07伪造聊天记录OpenAI 最初的实验:把补全机器变成聊天机器人动画3 min08Chat Template + SFTJinja 格式、指令微调,大模型终于学会说话概念3 min09上下文窗口是关键提示词为什么够用?Token 截断可视化,无需重新训练交互3 min10大模型幻觉演示三类典型幻觉:事实错误 / 自信编造 / 知识截止案例3 min11应对 1:Prompt Engineering约束指令 + 局限性:模型不知道自己不知道什么概念3 min12应对 2:RAG 检索增强生成真实文档注入上下文,5 步交互流程动画,对比有无 RAG 的差异交互3 min13RAG 的代价与优化策略成本分析表 + 关键词触发 / 模型路由 / 语义缓存 / 精准切块四种策略PM 进阶3 min14应对 3:Temperature & Top-P拖动滑块,实时看概率分布和输出变化交互3 min15应对 4:评测 + 人工审核外部纠错层,冷启动阶段兜底策略(HITL)概念3 min16汇总(上)· 大模型是什么 + 幻觉训练本质 / Token / Base→SFT→Chat / 四种幻觉类型与根因汇总3 min17汇总(下)· 缓解策略 + 决策框架四种缓解策略对比 / 常见误区清单 / 方案选择判断矩阵汇总3 min18把那件事定下来需求收敛四段演示;三档任务:写四行需求、用五个真实输入试它、划一条人机分界线实战3 min19大模型基础 · 30 道灵魂拷问每题附考察意图、答题框架与加分点:概率预测 / message list / 幻觉解释 / RAG vs 重训 / Temperature / 上下文窗口考察4 min