Harness 核心 · 模型周围的 Harness

课程总结 · 产品经理的第一节 AI 课

从大模型原理到工程落地,完整课程一页回顾

本页解决的问题

先给结论

「课程总结 · 产品经理的第一节 AI 课」要解决的关键问题是什么?

从大模型原理到工程落地,完整课程一页回顾

判断标准

让这个结论先证明自己值得留下。 把这一页当成决策工具,而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果,以及一个能改变你判断的失败上。

下一步

写下一个问题:试完这个方法后,你能用什么证据回答它?

常见误区

结论听起来很完整,却没有检查最关键的假设。

四大模块回顾
🧠
模块一 · 大模型是怎么来的
建立认知直觉
核心概念
对话不是学习
训练阶段结束后参数就冻结了。你每次对话,模型不会记住,也不会变聪明。按 Token 计费,不按问题条数。
核心概念
幻觉是结构性问题
模型做的是预测下一个 Token,不是查真实数据库。知识截止、自信编造、事实混淆,这三类幻觉无法根除,只能缓解。
缓解方案
RAG:把真实文档注入上下文
每次对话时把相关文档塞进 Prompt,让它看着资料回答。模型并没有学会新知识。
常见误区:以为 AI 每次对话都在学习进步
✍️
模块二 · Prompt 怎么写才管用
让 AI 按你要的输出
System Prompt
你说什么,它就变什么
System Prompt 定义角色、语气、约束。同一个模型,Prompt 不同,输出天差地别。这是产品差异化的核心。
Few-Shot
给例子比讲道理管用
与其解释要怎么做,不如直接给 2-3 个示例。模型会从例子中推断你想要的格式和风格。
CoT 思维链
让模型先想再答
复杂任务加上「请一步步分析」,准确率显著提升。逼模型把推理过程写出来,再给答案。
常见误区:Prompt 越短越好。实际上描述越清晰输出越稳定
⚙️
模块三 · AI 能干什么 · 多少钱
自动化与成本意识
Agent
能规划、能用工具、能行动
Agent = Plan + Tool + Memory + Act。它不只是聊天,可以调接口、写文件、循环执行。但也会失败、打转、需要脚手架兜底。
成本
多轮对话是指数增长的
每轮都把完整历史带进去 → Token 越累越多,费用越来越贵。10 轮对话的成本可能是第 1 轮的 5-10 倍。
优化
五层成本优化框架
模型路由 → 语法层 → 语义层 → 输出层 → KV Cache。综合使用可降低 70-90% 成本,不是玄学,是工程设计。
常见误区:以为 AI 成本是固定的。实际上设计决策决定成本
🛡️
模块四 · 安全合规与红线意识
产品该在哪里设防
Prompt 注入
用户输入可以覆盖你的指令
模型看到的是一整条 Message,无法区分你写的 System Prompt 和用户输入的内容。恶意用户可以用这个漏洞改变模型行为。
防御三层
输入层 → 提示词层 → 输出层
输入层过滤关键词;提示词层加约束声明;输出层检测泄漏内容。三层都要,缺一层就有漏洞。
产品红线
不能让 AI 说的,就设防
合规边界、品牌风险、竞品信息:这些不是靠模型自觉的,必须在产品层用技术手段拦截,不能只靠 Prompt 约束。
常见误区:以为 Prompt 里写了「不许说」就安全了
你已经掌握的能力

「四大模块回顾」为什么能找到相关内容

「从大模型原理到工程落地,完整课程一页回顾」把检索问题从“把资料存起来”推进到“怎样找到真正相关的资料”。这一步决定了 RAG、推荐和以图搜图最后交给模型的输入质量。

相似度不是答案,召回之后还要核对

在「从大模型原理到工程落地,完整课程一页回顾」对应的流程里,Embedding 负责把对象放到可比较的语义空间,近邻索引负责减少搜索范围,最终的回答仍然依赖召回片段是否覆盖问题、距离指标是否合适,以及内容有没有过期。

先区分找得到和找得准

把「从大模型原理到工程落地,完整课程一页回顾」落成一次小测试:准备几条有明确答案的查询,记录召回的相关性、遗漏和无关结果,再决定是否需要换切分方式、索引或重排。

从这个例子继续往下看

页面先提出「🧠 模块一 · 大模型是怎么来的 建立认知直觉 核心概念 对话不是学习 训练阶段结束后 参数就冻结了 。你每次对话,模型不会记住,也不会变聪明。按 Token 计费,不按问题条数。 核心概念 幻觉是结构性问题 模型做的是 预测下一个 Token ,不是查真实数据库。知识截止、自信编造、事实混淆,这三类幻觉无法根除,只能缓解。 缓解方案 RAG:把真实文档注入上下文 每次对话时 把相关文档塞进 Prompt ,让它看…」。接下来不要只记住这句话,可以把它变成一个小练习:写下输入、预期结果,以及什么现象会让你重新检查这个判断。

把这条判断带到下一个场景

检索系统也可以这样看:先确定什么算相关,再观察召回是否覆盖问题,最后检查排序、切分和时效性有没有把真正有用的内容挤出去。

  • 「四大模块回顾」:🧠 模块一 · 大模型是怎么来的 建立认知直觉 核心概念 对话不是学习 训练阶段结束后 参数就冻结了 。你每次对话,模型不会记住,也不会变聪明。按 Token 计费,不按问题条数。 核心概念 幻觉是结构性问题 模型做的是 预测下一个 Token ,不是查真实数据库。知识截止、自信编造、事实混淆,这三类幻觉无法根除,只能缓解。 缓解方案 RAG:把真实文档注入上下文 每次对话时 把相关文档塞进 Prompt ,让它看…

最后做一次小而可逆的练习:把页面里的判断放进一个真实输入,写下预期结果和会让你停下来复核的信号。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 课程总结 · 产品经理的第一节 AI 课 模型周围的 Harness
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助