算法厌恶:AI 犯一次错,就被永久拉黑
Dietvorst 实验:人看到算法犯一次错就弃用,哪怕它整体比人准。先投票亲测自己的偏心,再玩归因翻译器和微调权开关,看弃用率仪表怎么被四个杠杆拉回来
本页解决的问题
先给结论「算法厌恶:AI 犯一次错,就被永久拉黑」要解决的关键问题是什么?
Dietvorst 实验:人看到算法犯一次错就弃用,哪怕它整体比人准。先投票亲测自己的偏心,再玩归因翻译器和微调权开关,看弃用率仪表怎么被四个杠杆拉回来
把品味变成产品可重复的行为。 有用的结果不是一句“我觉得更好”。它应该是一条看得见的规则、一个小例子,以及判断体验何时低于标准的方法。
记录一个前后对比,让别人不用听解释也能看懂质量线。
表面更精致了,却没有减少用户的不确定感。
你是销售 VP,手上有两个销量预测来源,上季度它俩犯了一模一样的错:同样的数字、同样的原因。点你下季度打算继续用的那个。
跟了你三年的销售分析师
用了两个季度的预测系统
宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试亲眼看到模型犯错。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶。
偏心的根子在归因方式:同一种错误,用户脑子里给人和给 AI 记的账本不一样。下面六句用户的内心独白,判断每句是在评价人类同事还是AI。判完六句,三个心理根源自己浮出来。
Dietvorst 团队 2018 年接着做了后续实验:还是那个会犯错的模型,但这次允许被试微调模型的预测值,哪怕只允许改一点点。左边是被试看到的界面,右边是愿意用模型的人数比例,亲手切换两种设定。
把实验搬回你的产品。场景:AI 报销审核助手上线一个月,刚在一批新用户面前算错了一笔账。仪表盘显示这批用户的预期弃用率,右边四个工程杠杆全是你学过的开关,挨个拨开,看指针怎么动,每个开关的原理写在里面。
算法厌恶有个反向的孪生兄弟:自动化偏见。另一批用户会无条件接受 AI 输出,连显错的都照抄,第 5 课讲过全信酿成的事故。同一个产品里两种人都有:厌恶者需要控制权和稳定性,盲信者需要摩擦和警告。信任校准是双向工程,只往一头使劲,另一头就出事。
容错率不对称:人的错记给情境,AI 的错记给能力。同样的错,人被原谅,算法被弃用,哪怕算法整体成绩更好。
解药是控制权:2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说。
首错的位置决定生死:新手期犯错触发弃用,老用户期犯错只触发吐槽。新用户走最稳的链路,实验性功能只对老用户开。
同一个坑只能掉一次:用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来。
内容来源:newwebplay AI「AI 产品心理学」专题原创;算法厌恶实验出自 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)与 Overcoming Algorithm Aversion(2018)。
从「动手 · 下个季度,你听谁的」把感觉变成判断
「你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个」指出,AI 降低了做出“能用”成品的门槛,读者真正需要练的是看出哪里不对,并把感觉说成可以执行的要求。
观察用户的下一步,而不是只看表面
「宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversio…」可以转成几个可观察的问题:用户是否知道现在发生了什么,是否知道下一步做什么,出错或空白时能否恢复,以及信息层级是否让重要内容先被看见。
漂亮不等于容易用
把「同一个坑只能掉一次: 用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来」用在第二个页面或流程上,记录一个具体犹豫点和一个改动后的用户动作;能被观察到的变化,才是体验改善。
从「动手 · 下个季度,你听谁的」走到「这个偏心有名字 · Dietvorst 的实验」
「动手 · 下个季度,你听谁的」先把问题落在「你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个」上;到了「这个偏心有名字 · Dietvorst 的实验」,讨论继续推进到「宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。
把这条判断带到下一个场景
评估体验时,把抽象的“好看”或“顺手”换成用户动作:他是否看懂状态、找到了下一步、能从错误中恢复,并且愿意继续使用。
- 「动手 · 下个季度,你听谁的」:你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个
- 「这个偏心有名字 · Dietvorst 的实验」:宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶
- 「最后的要点」:解药是控制权: 2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说
最后的「最后的要点」把讨论落到「解药是控制权: 2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。
我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。
读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。
如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。
还没有这篇文章的讨论。