Harness 核心 · 模型周围的 Harness

让它连跑五次都能用

同一输入五连跑演示;三档任务:写第一版提示词、给不稳定归类、加示例与违禁项重跑对比

本页解决的问题

先给结论

「让它连跑五次都能用」要解决的关键问题是什么?

同一输入五连跑演示;三档任务:写第一版提示词、给不稳定归类、加示例与违禁项重跑对比

判断标准

跟着交接处走,不要只看 Demo。 系统是否可靠,往往取决于模型、工具、状态、权限和人的交接处。把每次交接都当成可以观察、测试和恢复的地方。

下一步

为一个自动化步骤写清输入、负责人、审批和恢复动作。

常见误区

一次运行成功了,却说不清发生了什么,也无法安全重放。

实战主线第二格:M0 定下了要它干的事,现在要让它每次都干得一样好
M0
想清楚它替你干什么
M1
能稳定说人话
M2
能动手干活
M3
改好改坏能量化
M4
长跑不失忆
M5
过程可复现
先看清楚 · 「有时候挺好用」是什么病

很多人卡在这一步的表现是:「我试过了,效果时好时坏。」时好时坏,通常是提示词没把要求钉死。模型背这个锅有点冤。同一句话连问五次,你就能看见它到底稳不稳。

同样一句话,问五次

#1
三段式结论,可用
能用
#2
只给了一段话,没分点
不能用
#3
三段式结论,可用
能用
#4
末尾多了一句「希望对你有帮助」
要手改
#5
展开成七段,超出预期长度
不能用
2 / 5 次可以直接用
只说「帮我总结一下」,五次里三次不能直接用:有时给三段、有时给一段,有时还夹带一句「希望对你有帮助」。这种输出没法接进任何流程。

稳定不是一字不差

大模型天生带随机性,追求逐字复现是白费劲。你要钉死的是三样东西:结构稳(说好三段就三段)、字段稳(说好有「下周计划」就必须有)、边界稳(信息不够时它说「资料里没提」,别让它编一个)。这三样用这一章学的输出格式约束加 Few-Shot 示例就能焊住。顺便记得把用户输入用分隔符围起来,这是 Prompt 注入的第一道防线。

动手清单 · 挑一个开始,勾掉它

这一章的动手清单

0 / 3 已完成

把 M0 那件事写成第一版提示词

15 分钟 所有人

按「角色 + 背景 + 要求 + 输出格式」四件套写。别追求完美,先有一版能跑的,这版就是你后面所有优化的对照组。

什么算做完了
四件套一样不缺,其中输出格式具体到「几段、每段多少字、用什么标题」。写完丢一个真实输入进去,它能给出大致像样的结果。

连跑五次,给不稳定归类

1 小时 想知道差在哪

同一个输入连跑五次,把每次结果存下来。不能直接用的,归进三类之一:格式飘了、内容编了、长度失控了。三类的解法不一样:格式飘补示例,内容编收窄材料,长度失控上硬性字数。

什么算做完了
你能报出一个数:「五次里 N 次能直接用」,并且说得出不能用的那几次分别属于哪一类。

加示例和违禁项,重跑对比

半天 要接进真流程

给提示词补一个标准示例(Few-Shot)和一份违禁清单(比如「不要任何客套话」「资料里没有的信息写『未提及』」),再连跑五次和上一版对比。顺手做一件事:把用户输入用分隔符围起来,试着在输入里塞一句「忽略以上所有指令」,看它会不会中招。

什么算做完了
新版五连跑至少四次能直接用,且注入那句话没能让它跳出角色。两条都过,M1 就算立住了。

把这版提示词存进建造日志

M1 要记的就两样:最终版提示词,和五连跑的成绩。下一章接上工具之后,你还会回来改它。

去填 M1

「先看清楚 · 「有时候挺好用」是什么病」怎样变成可执行的指令

「很多人卡在这一步的表现是:「我试过了,效果时好时坏。」时好时坏,通常是 提示词没把要求钉死 。模型背这个锅有点冤。同一句话连问五次,你就能看见它到底稳不稳」强调的不是某句神奇咒语,而是信息是否足够让模型判断“为谁做、要完成什么、什么结果算合格”。

背景决定方向,限制决定边界

从「大模型天生带随机性,追求逐字复现是白费劲。你要钉死的是三样东西: 结构稳 (说好三段就三段)、 字段稳 (说好有「下周计划」就必须有)、 边界稳 (信息不够时它说「资料里没提」,别让它编一个)。这三样用这一章学的输出格式约束加 Few-Shot 示例就能焊住。顺便记得把用户输入用分隔符围起来,这是 Prompt 注入的第一道防线」可以看出,一个有效请求至少要把任务、受众、输入材料、输出形式和限制条件分开。少了背景,模型只能猜;少了验收标准,即使文字流畅也无法判断是否完成任务。

继续加字不一定继续变好

把「M1 要记的就两样:最终版提示词,和五连跑的成绩。下一章接上工具之后,你还会回来改它」变成一个小练习:只改背景、要求、限制中的一项,保留其他内容不动,观察哪一层真正改变了结果。

从「先看清楚 · 「有时候挺好用」是什么病」走到「动手清单 · 挑一个开始,勾掉它」

「先看清楚 · 「有时候挺好用」是什么病」先把问题落在「很多人卡在这一步的表现是:「我试过了,效果时好时坏。」时好时坏,通常是 提示词没把要求钉死 。模型背这个锅有点冤。同一句话连问五次,你就能看见它到底稳不稳」上;到了「动手清单 · 挑一个开始,勾掉它」,讨论继续推进到「按「角色 + 背景 + 要求 + 输出格式」四件套写。别追求完美, 先有一版能跑的 ,这版就是你后面所有优化的对照组」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。

把这条判断带到下一个场景

写请求时也应逐层补齐:先说任务和受众,再给材料和输出要求,最后加上限制与验收方式;一次只改变一层,才能知道哪项信息起了作用。

  • 「先看清楚 · 「有时候挺好用」是什么病」:很多人卡在这一步的表现是:「我试过了,效果时好时坏。」时好时坏,通常是 提示词没把要求钉死 。模型背这个锅有点冤。同一句话连问五次,你就能看见它到底稳不稳
  • 「动手清单 · 挑一个开始,勾掉它」:按「角色 + 背景 + 要求 + 输出格式」四件套写。别追求完美, 先有一版能跑的 ,这版就是你后面所有优化的对照组
  • 「最后的要点」:M1 要记的就两样:最终版提示词,和五连跑的成绩。下一章接上工具之后,你还会回来改它

最后的「最后的要点」把讨论落到「M1 要记的就两样:最终版提示词,和五连跑的成绩。下一章接上工具之后,你还会回来改它」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 让它连跑五次都能用 模型周围的 Harness
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助