文章 02AI 能力与信任边界
AI说得越顺,你越该留个心眼
AI 最危险的地方,不是它会错,而是它错的时候也很像对的。把表达、判断和事实分层,才能知道哪些可以用,哪些必须独立核验。
English version
你有没有遇到过这种事。
让 AI 帮你做行业分析报告,它不光给了分析框架,还附了一堆精确数字:「2025 年市场增速 23.7%」「某头部公司市占率 31.6%」,引用来源列得整整齐齐。你把它拿去开会、写方案,甚至放进给老板、投资人、客户看的材料里,大家看着都觉得挺像那么回事。
后来你自己去查了原始来源,却发现那几篇引用的报告根本不存在,数据也对不上。AI 编得比真的还像真的。
别觉得这是技术还不够成熟的偶发失误,实际情况其实更难接受:AI 不是可能会骗你,是它一定会骗你。问题不在于态度,而在于它的工作方式。
AI 没有主观恶意,它只是会生成不真实、但看起来很真的内容,技术圈通常称为 AI 幻觉。
这就是今天要说的核心——AI 最危险的地方,不是它会错,而是它错的时候也很像对的。
它看起来像解题,其实是在猜
不用懂完整技术栈,但大模型有两样东西必须知道:一个是底层架构叫 Transformer,一个是训练目标:预测下一个词。
Transformer 的核心能力叫注意力机制。简单说,它让 AI 能捕捉你话里不同词之间的关联。你说「苹果很好吃」和「苹果发布了新手机」,AI 通过注意力机制能判断出第一个更像水果,第二个更像公司。
所以,它看起来像懂了你的问题,但读懂上下文,不等于核验事实。
再说训练目标。大模型训练的时候读了海量数据。当你问「珠穆朗玛峰多高」时,它不是去查百科全书——至少裸的大模型本体不是。而是根据海量训练文本去推测:「珠穆朗玛峰」后面最可能跟着的数字是 8848。
更技术一点,AI 会把文字切成一个个小单元,也就是 token,然后根据上下文计算下一个 token 最可能是什么。
它的第一动作,不是先查证事实、严密推理,再组织表达。它的底层动作是按概率生成一段话,这段话接在前文后面最合理。至于这段话能不能拿来签字背书,那不是它天然负责的事儿。
聪明的助理用不好也会错
想象你有一个助理。
他没出过门,但背下了全世界所有公司的年报、财报、新闻稿。你问他「A 公司去年营收多少」,他不是去查 A 公司的账,而是回忆所有提到这些关键词的文本里最常见的那个数字。
大多数时候这个数字都是对的。但如果 A 公司的真实数据从没出现在他读过的材料里时,他就会从别的公司数据里「拼」一个合理的数字给你,而且拼得特别自信——因为在所有他读过的材料里,这种语境下就该接这样一个数字。
这就是大模型。它看起来在回答你的问题,但底层是在续写上下文。
问题不在于这个助理笨,而在于你没把他用对。让它写报告可以,把它单独当事实来源就危险了。
你判断人靠谱的标准,对 AI 行不通
带团队久了,你会天然相信一种人:表达清晰、逻辑缜密、细节丰富,被追问时不慌不忙。这样的人在管理中通常被认为更靠谱。
但放在 AI 身上,就会经常误导你。
因为大模型特别擅长把话说得连贯、合理、像真的。流畅度和真实性不是一回事。一个错误答案也可以被生成得极其顺滑。
更麻烦的是,AI 最擅长伪装的,恰恰就是管理者判断“靠谱”的那些信号:有结构、有逻辑、有数据,还能主动给后续建议,被追问时也能补充得很完整。
你拿着判断人的标准去衡量 AI,结果就是:它越让你觉得可信的时候,恰恰是你最该警惕的时候。
这不是你判断力不行,而是你的判断标准用错了对象。跟 AI 协作,要建立一套全新的「信什么不信什么」的框架。第一条就是——别用管人的方式去判断 AI 的话。
这就是技术路线的代价
你雇了个全天候无休、读过全世界书的助理。代价是:它偶尔会自信地编造不存在的事实。
这不是技术不够好,而是技术路线本身的取舍。就像买跑车不能指望省油,选择了大模型的高覆盖度和低边际成本,就要接受它在可验证的真实性上的牺牲。技术会进步,幻觉率会下降。但只要它还是生成式系统,管理上就不能把事实核验这道门撤掉。你要做的不是等幻觉消失,是学会跟它共存。
而且幻觉不只来自概率预测。注意力机制、上下文窗口、温度参数,都会影响 AI 看到什么、记住什么、生成得稳不稳。
所以别指望靠一两个设置把幻觉关掉,管理上要默认它会发生。
怎么办:三层判断框架
既然 AI 一定会骗你,那怎么判断它的产出哪些能信、哪些不能信?
当团队交出 AI 辅助产出的成果时,最好先判断「它属于哪一层」。
我一般会把 AI 输出分三层看:
- 表达层——结构、语气、措辞。可以大胆用,AI 在这层确实强。
- 判断层——分析、推理、建议。带着你的业务经验复核,AI 能给你思路,决定得你来。
- 事实层——数字、来源、日期、法规、人名、公司信息。必须独立验证,这是 AI 编起来最没顾忌的地方。
最容易出事的,是下面三类:
- 精确数字。 财务数据、统计指标、具体日期。AI 擅长「约等于」,不擅长「等于」。
- 引用来源。 AI 能编造完全合理的论文标题和作者名。它编的引用和你让它写的正文,来自同一套预测机制。
- 你不太懂的领域。 最隐蔽的陷阱。你不懂就没法交叉验证,AI 在这个领域编得最放肆。
最后是一条红线:没法用另一条独立信息源验证的 AI 输出,就别当事实用。
管理建议
AI 可以进工作流,但不能直接进决策链。凡是进入汇报、合同、预算、投放和对外口径的事实,都要有第二来源验证。没有验证,再顺也只是草稿。
AI 交回来的东西越像成品,你越要按半成品验。老板最后追问的不是“AI 怎么说”,而是“你怎么确认的”。
下次,带你用管理剥开 AI 的另一颗坚果。