我教会 AI 学坏,是为了让规则变好,PRD 反向「挑刺机」作品复盘

发布时间:2026/7/27 16:18:45
我教会 AI 学坏,是为了让规则变好,PRD 反向「挑刺机」作品复盘 一个总想帮人写得更好的工具遍地都是我却花了大力气做了一个专门跟你作对的。写在前面这个工具做完之后我删掉了三次原本准备好的复盘开头。因为那几版都写成了我用了什么技术、实现了什么功能的功能清单——那不是复盘那是说明书。真正让我想记录下来的是这个过程里几次让我停下来的瞬间一个被推翻的假设、一次线上翻车、一个方向性的顿悟。这篇复盘写的就是这几个瞬间以及它们背后我对AI 到底该怎么帮人的重新理解。一、第一个被推翻的假设更聪明不等于更有用立项时我以为自己在做一个高级版文档助手——让 AI 读懂 PRD然后给出更专业的建议。这个方向听上去无懈可击让 AI 扮演一位资深产品专家给出优化意见。结果第一次测试就把我浇醒了。我丢进去一段有明显套利漏洞的活动规则AI 回给我的是一段四平八稳的点评结构清晰、逻辑完整、建议补充用户引导……全是对的也全是废话。它像一个礼貌的评审绕着规则夸了一圈唯独没说出那句最要命的——“这条规则会被人用脚本刷爆。”那一刻我意识到一个反直觉的事实让 AI 变得更聪明、更周全、更专业并不能自动让它变得更有用。因为专业的建议和致命的风险是两种完全不同的输出前者来自正向的善意视角后者只能来自带着敌意的攻击视角。而我一开始把 AI 放错了位置。于是我做了整个项目最关键的一个决定不让它当专家让它当敌人。二、最难的一步怎么把敌意写进提示词方向定了新问题立刻来了你去找漏洞这种指令AI 根本执行不好。我试过直接命令它请找出这段规则的所有漏洞得到的依然是泛泛而谈——它会说可能存在被滥用的风险“建议加强审核”就是不肯说人话、不肯举实例。原因不难理解AI 被训练得太善良了你笼统地让它使坏它会本能地退回到安全、模糊的表达里。破局的办法是把抽象的敌意具象成一个个有名有姓、有动机、有脾气的人。我不再让它找漏洞,而是让它变成一个专门薅羊毛的人你现在就想用最少的成本从这个活动里套出最多的钱说说你会怎么做。视角一旦具体到人,输出立刻从正确的废话变成了具体的攻击。顺着这个思路我把审查拆成了四个人格每个都有清晰的人物设定和唯一的执念这一步给我的心得是AI 不缺能力缺的是一个足够具体的身份。你给它的角色越模糊它越会躲进正确的废话里你把它逼进一个具体的人格里它才肯掏出真东西。三、一次线上翻车教会我的事功能跑通后我很满意直到接入真实密钥的第一次调用——四个模块全部失败前端只剩一句干巴巴的生成失败。我一开始怀疑是密钥问题、模型名问题排查半天才找到真凶为了追求速度我让四个模块同时并发请求而免费推理接口有严格的频率限制四发齐射直接触发限流然后一起阵亡。讽刺的是一个专门帮人预演风险的工具自己却栽在了一个最典型的风险上——我犯的正是那种只想着正常情况、没想过极端情况的错误。这次翻车逼我把链路整个重写从图快改成图稳改完之后我在心得本上写了一句话一个教别人排雷的工具自己首先不能是一颗雷。稳定性不是锦上添花的工程细节它就是这个产品的立身之本——如果它在最抠门的额度、最差的网络、最空的配置下会崩那它劝别人考虑极端情况就成了笑话。四、真正的难点其实在报告怎么给模型能挑出刺只是完成了一半。我很快发现一份把二十条问题平铺直叙列出来的报告和没有几乎一样——运营在上线前根本没时间逐条读。所以后半程我几乎把精力全花在了怎么让报告被用起来上每一条风险都强制打上红 / 黄 / 绿三级标签沿用国内红最紧急的直觉后端递归统计各级数量前端用三张总览卡顶在最上方——打开报告第一眼看到的是3 红 5 黄而不是一堵文字墙每条问题都必须附一句可直接落地的修改建议而不是停在存在风险就撒手。这段经历更新了我对完成的定义把问题找出来只是工具的义务把问题排成让人能立刻行动的样子才是工具的价值。找茬人人会但能让人愿意听、马上改才是本事。五、几点留给自己的收获回头看这个「挑刺机」教给我的远不止怎么写提示词、怎么做限流重试。它更新了我对AI 辅助这件事的底层认知其一AI 最稀缺的用法是让它扮演你最不愿面对的人。我们习惯让它当更好的自己却忘了它也能当那个最坏的用户、最杠的客服、最刻薄的差评党——这些你现实里躲都来不及的角色请进草稿阶段就是最忠诚的质检员。其二有用比正确更难。正确的废话满地都是真正难的是逼 AI 说出那句刺耳但救命的话。而这往往取决于你给它的身份够不够具体。其三工具的良心藏在它最糟糕的那一刻。没有密钥时还能不能用、限流时会不会崩、失败时给不给得出人话——这些边角才真正决定一个工具值不值得托付。做完这一切我越来越确信一件事好的规则不是写出来的是被狠狠攻击过、依然站得住的那一版。而这个工具存在的全部意义就是在真实世界的恶意找上门之前先替你把这顿攻击预演一遍。

相关新闻

最新新闻

日新闻

周新闻

月新闻