大模型原理
产品下面的模型
从训练数据和 Token 预测,走到聊天界面、幻觉和缓解方案。把产品决策放回技术原因里,而不是跟着热点猜。
大模型原理19篇札记
本页解决的问题
先给结论「产品下面的模型」AI 学习路径适合解决什么问题?
从训练数据和 Token 预测,走到聊天界面、幻觉和缓解方案。把产品决策放回技术原因里,而不是跟着热点猜。 路线包含 19 篇免费札记,每篇聚焦一个可以独立搜索、理解和验证的问题。
判断标准
核心主题包括:基础原理、从补全到对话、幻觉与四种应对、篇章汇总。
下一步
从「AI 的食物:训练数据」开始,再按当前任务选择下一篇。
常见误区
不要为了完成目录而跳过实践;能用自己的例子解释一个取舍,比读完更多标题更重要。
这条路径会练什么
从第一篇打开
每个章节都围绕一类真实决策展开。可以顺着走,也可以从正在处理的工作切入。
01AI 的食物:训练数据15T Token 是什么概念?语料构成可视化 + 数据规模直觉滑块↗02训练 vs 推理:两个不同的过程对话不是学习,参数冻结,按 Token 计费,这些是 AI 产品必懂的底层逻辑↗03词表与训练从语料到词间矩阵,Token 化 + 注意力权重交互演示↗04Base 模型:Token 推 Token 机器训练结束后得到什么?逐步生成 + 概率分布实时更新↗05GPT 的跃进:PreTraining 改变一切CNN / RNN / BERT / GPT 四种算法可交互对比,记忆衰减可视化↗06chat/completions 之谜明明是对话,为什么 API 叫「补全」?打字机动画解读↗07伪造聊天记录OpenAI 最初的实验:把补全机器变成聊天机器人↗08Chat Template + SFTJinja 格式、指令微调,大模型终于学会说话↗09上下文窗口是关键提示词为什么够用?Token 截断可视化,无需重新训练↗10大模型幻觉演示三类典型幻觉:事实错误 / 自信编造 / 知识截止↗11应对 1:Prompt Engineering约束指令 + 局限性:模型不知道自己不知道什么↗12应对 2:RAG 检索增强生成真实文档注入上下文,5 步交互流程动画,对比有无 RAG 的差异↗13RAG 的代价与优化策略成本分析表 + 关键词触发 / 模型路由 / 语义缓存 / 精准切块四种策略↗14应对 3:Temperature & Top-P拖动滑块,实时看概率分布和输出变化↗15应对 4:评测 + 人工审核外部纠错层,冷启动阶段兜底策略(HITL)↗16汇总(上)· 大模型是什么 + 幻觉训练本质 / Token / Base→SFT→Chat / 四种幻觉类型与根因↗17汇总(下)· 缓解策略 + 决策框架四种缓解策略对比 / 常见误区清单 / 方案选择判断矩阵↗18把那件事定下来需求收敛四段演示;三档任务:写四行需求、用五个真实输入试它、划一条人机分界线↗19大模型基础 · 30 道灵魂拷问每题附考察意图、答题框架与加分点:概率预测 / message list / 幻觉解释 / RAG vs 重训 / Temperature / 上下文窗口↗