专业知识需要情境才能成立
一条检修建议可能依赖设备型号、运行状态和规程版本。模型能够找到相关文字,不等于已经具备作出适用判断所需的全部条件。
智能体的竞争力,在可控的委托范围内。

报告所列智能体在 OSWorld 电脑操作基准的任务成功率2
2026 · OSWorld 基准任务完成能力明显进步,也仍然存在失败。支策的判断是,企业不应只问智能体有多聪明,更应判断它可以独立处理多长的任务链、触发什么后果,以及失败后谁能接管。在能源业务中,授权范围、知识依据和恢复机制,会与模型能力共同决定可使用的边界。
电脑操作基准上的进步,提醒我们AI能力具有任务边界,不能由一个总体分数推断企业内的可靠表现。支策认为,能源知识助手应优先解决“依据是否适用”的问题,再谈回答是否流畅与覆盖是否广泛。
沿着任务链审视AI价值
一条检修建议可能依赖设备型号、运行状态和规程版本。模型能够找到相关文字,不等于已经具备作出适用判断所需的全部条件。
表达越确定,越可能降低使用者继续核验的意愿。界面应该帮助用户看到关键依据、未确认条件和可追问之处,而非只展示完整结论。
现场人员的纠错揭示了知识的隐含前提。若反馈只用于评价满意度,就会错失把个人经验转化为组织可持续知识的机会。
区分资料查找、方案辅助与高后果判断,为不同任务设置引用深度与复核要求,避免用一个助手名称覆盖所有责任。
让答案能够回到原始段落、版本与适用条件;当信息冲突时解释冲突,而不是用顺畅语言将差异抹平。
围绕常见问题、边界问题和易误用问题持续评估,观察用户能否依据结果完成正确下一步,而不仅是是否喜欢答案。
对低后果的通用检索,过重的复核可能削弱可用性。关键是按业务后果区分要求,而不是为所有回答设置相同门槛。
使用者能否看出这份答案依据什么、在哪些条件下适用,以及哪里仍需判断?
OSWorld基准显示任务执行能力显著进步,却不能证明智能体已经可以承担任意业务链。支策认为,真正有竞争力的企业会把委托能力当成一种可逐步扩展的经营机制,而不是一次性授予系统广泛权限。
沿着任务链审视AI价值
一次结果可能经过检索、判断、调用与状态更新。局部步骤正确,不保证整体目标达成;跨系统之后,需要知道问题发生在哪个环节。
生成草稿、提交审批、修改工单和下达指令,触发的责任并不相同。把它们放在同一个自动化等级里,会掩盖授权设计的关键差别。
能否停下、回滚、重复执行或转交人工,决定了错误是否会被限制在可接受范围。我们预计,恢复设计会成为智能体产品的重要差异。
围绕业务后果界定工具权限、数据范围和确认节点,使智能体只获得完成当前任务必要的行动能力。
将复核放在不可逆或高后果动作之前,而不是要求人工机械查看全部过程;明确等待、拒绝和升级如何处理。
记录任务达成、失败类型与接管成本,只有当边界内表现足够稳定,才讨论更长任务链或更高权限。
如果业务状态难以回退、后果严重且验证不足,应保留人工决策。通用基准成绩不能替代现场条件下的可靠性证据。
智能体做错的那一步,组织能否及时识别、阻止扩散,并恢复业务状态?
我们保持对技术进展的关注,也持续检验组织能否承接这些进展。AI的商业边界会随着任务经济性、失败模式与责任安排变化,不能用一次选型永久确定。
关注完成一项合格业务任务需要多少调用、复核时间与异常处理,区分价格下降和总体使用增加。
若复核负担同步下降,可重新评估任务组合;若调用更便宜但错误处理增加,应先重构任务边界。
关注智能体能否识别偏离、停止不适当行动,并在中断后恢复到业务可接受的状态。
恢复能力成熟时可以讨论更长的委托链;若失败难以定位,授权仍应保持在更小范围。
关注场景负责人是否能解释效果变化、调整使用范围,以及与技术团队共同决定模型与知识更新。
若业务能够持续经营能力,规模化具备组织基础;若责任仍集中在临时项目组,应先解决长期运行安排。
通过“任务解构—场景取舍—受控设计—证据验证—规模运营”五个阶段,连接业务投资决策与 AI 全生命周期治理。以公开管理研究、NIST 风险管理框架和智能体工程实践为参考,把评估集、权限、人工复核和退出机制前置到设计阶段。模型选择服从任务要求,推广范围服从验证证据;每一次能力升级,都重新检查业务效果与风险边界。
比较达到 GPT-3.5 MMLU 表现水平的推理成本;不是企业 AI 总成本或项目费用的下降比例。
Stanford 2025 · 2022.11—2024.10 · GPT-3.5 水平OSWorld 是结构化电脑操作基准;结果不能当作能源生产任务的成功率或上线门槛。
Stanford AI Index 2026 · OSWorld 基准跨地区、跨行业调查的受访者自报状态;不代表能源企业治理成熟度的测量结果。
IBM 2025 · 全球 1,700 位高级数据与分析负责人