文章 02AI 能力与信任边界

AI说得越顺,你越该留个心眼

AI 最危险的地方,不是它会错,而是它错的时候也很像对的。把表达、判断和事实分层,才能知道哪些可以用,哪些必须独立核验。

English version
AI 生成看似精确的市场数据,管理者在一旁保持怀疑
本文目录
  1. 它看起来像解题,其实是在猜
  2. 聪明的助理用不好也会错
  3. 你判断人靠谱的标准,对 AI 行不通
  4. 这就是技术路线的代价
  5. 怎么办:三层判断框架
  6. 管理建议

你有没有遇到过这种事。

让 AI 帮你做行业分析报告,它不光给了分析框架,还附了一堆精确数字:「2025 年市场增速 23.7%」「某头部公司市占率 31.6%」,引用来源列得整整齐齐。你把它拿去开会、写方案,甚至放进给老板、投资人、客户看的材料里,大家看着都觉得挺像那么回事。

后来你自己去查了原始来源,却发现那几篇引用的报告根本不存在,数据也对不上。AI 编得比真的还像真的。

别觉得这是技术还不够成熟的偶发失误,实际情况其实更难接受:AI 不是可能会骗你,是它一定会骗你。问题不在于态度,而在于它的工作方式。

AI 没有主观恶意,它只是会生成不真实、但看起来很真的内容,技术圈通常称为 AI 幻觉。

这就是今天要说的核心——AI 最危险的地方,不是它会错,而是它错的时候也很像对的。

它看起来像解题,其实是在猜

不用懂完整技术栈,但大模型有两样东西必须知道:一个是底层架构叫 Transformer,一个是训练目标:预测下一个词。

Transformer 的核心能力叫注意力机制。简单说,它让 AI 能捕捉你话里不同词之间的关联。你说「苹果很好吃」和「苹果发布了新手机」,AI 通过注意力机制能判断出第一个更像水果,第二个更像公司。

所以,它看起来像懂了你的问题,但读懂上下文,不等于核验事实。

再说训练目标。大模型训练的时候读了海量数据。当你问「珠穆朗玛峰多高」时,它不是去查百科全书——至少裸的大模型本体不是。而是根据海量训练文本去推测:「珠穆朗玛峰」后面最可能跟着的数字是 8848。

更技术一点,AI 会把文字切成一个个小单元,也就是 token,然后根据上下文计算下一个 token 最可能是什么。

它的第一动作,不是先查证事实、严密推理,再组织表达。它的底层动作是按概率生成一段话,这段话接在前文后面最合理。至于这段话能不能拿来签字背书,那不是它天然负责的事儿。

聪明的助理用不好也会错

想象你有一个助理。

他没出过门,但背下了全世界所有公司的年报、财报、新闻稿。你问他「A 公司去年营收多少」,他不是去查 A 公司的账,而是回忆所有提到这些关键词的文本里最常见的那个数字。

大多数时候这个数字都是对的。但如果 A 公司的真实数据从没出现在他读过的材料里时,他就会从别的公司数据里「拼」一个合理的数字给你,而且拼得特别自信——因为在所有他读过的材料里,这种语境下就该接这样一个数字。

这就是大模型。它看起来在回答你的问题,但底层是在续写上下文。

问题不在于这个助理笨,而在于你没把他用对。让它写报告可以,把它单独当事实来源就危险了。

你判断人靠谱的标准,对 AI 行不通

带团队久了,你会天然相信一种人:表达清晰、逻辑缜密、细节丰富,被追问时不慌不忙。这样的人在管理中通常被认为更靠谱。

但放在 AI 身上,就会经常误导你。

因为大模型特别擅长把话说得连贯、合理、像真的。流畅度和真实性不是一回事。一个错误答案也可以被生成得极其顺滑。

更麻烦的是,AI 最擅长伪装的,恰恰就是管理者判断“靠谱”的那些信号:有结构、有逻辑、有数据,还能主动给后续建议,被追问时也能补充得很完整。

你拿着判断人的标准去衡量 AI,结果就是:它越让你觉得可信的时候,恰恰是你最该警惕的时候。

这不是你判断力不行,而是你的判断标准用错了对象。跟 AI 协作,要建立一套全新的「信什么不信什么」的框架。第一条就是——别用管人的方式去判断 AI 的话。

这就是技术路线的代价

你雇了个全天候无休、读过全世界书的助理。代价是:它偶尔会自信地编造不存在的事实。

这不是技术不够好,而是技术路线本身的取舍。就像买跑车不能指望省油,选择了大模型的高覆盖度和低边际成本,就要接受它在可验证的真实性上的牺牲。技术会进步,幻觉率会下降。但只要它还是生成式系统,管理上就不能把事实核验这道门撤掉。你要做的不是等幻觉消失,是学会跟它共存。

而且幻觉不只来自概率预测。注意力机制、上下文窗口、温度参数,都会影响 AI 看到什么、记住什么、生成得稳不稳。

所以别指望靠一两个设置把幻觉关掉,管理上要默认它会发生。

怎么办:三层判断框架

既然 AI 一定会骗你,那怎么判断它的产出哪些能信、哪些不能信?

当团队交出 AI 辅助产出的成果时,最好先判断「它属于哪一层」。

我一般会把 AI 输出分三层看:

  1. 表达层——结构、语气、措辞。可以大胆用,AI 在这层确实强。
  2. 判断层——分析、推理、建议。带着你的业务经验复核,AI 能给你思路,决定得你来。
  3. 事实层——数字、来源、日期、法规、人名、公司信息。必须独立验证,这是 AI 编起来最没顾忌的地方。

最容易出事的,是下面三类:

  • 精确数字。 财务数据、统计指标、具体日期。AI 擅长「约等于」,不擅长「等于」。
  • 引用来源。 AI 能编造完全合理的论文标题和作者名。它编的引用和你让它写的正文,来自同一套预测机制。
  • 你不太懂的领域。 最隐蔽的陷阱。你不懂就没法交叉验证,AI 在这个领域编得最放肆。

最后是一条红线:没法用另一条独立信息源验证的 AI 输出,就别当事实用。

管理建议

给老板

AI 可以进工作流,但不能直接进决策链。凡是进入汇报、合同、预算、投放和对外口径的事实,都要有第二来源验证。没有验证,再顺也只是草稿。

给管理者

AI 交回来的东西越像成品,你越要按半成品验。老板最后追问的不是“AI 怎么说”,而是“你怎么确认的”。

下次,带你用管理剥开 AI 的另一颗坚果。

来源与版权

作者原创 · 风雨凡

本文最初发表于「枫言凡想」公众号,发布于 2026/06/05。本站为作者个人站整理版,正文观点与原发布版本一致。

查看公众号原文

接着读

AI 的结果看着可信,该检查哪里?

检查数字与出处看第二篇;检查输入是否被操纵看第六篇。两类问题并列,谁也不是谁的前一步。

06输入操纵看你让 AI 筛简历,就有人写简历给 AI 看