平均分会掩盖不均匀的能力
高频简单问题可能提升总体成绩,却遮住少见但重要的错误。能源任务需要区分问题类型、后果和使用条件,才能理解表现分布。
治理能力将决定AI能走多远。

受访数据负责人仍处于界定智能体规模化与治理方式的早期3
2025 · 全球 1,700 位高级数据与分析负责人当智能体开始跨系统读取信息、组织流程和发起行动,原有的应用管理边界会受到挑战。支策认为,规模化并不是增加账号和调用量,而是让授权、评测、异常处置与责任归属能够共同扩展。治理应当进入产品设计,使组织知道何时可以放手,何时必须介入。
治理方式尚在形成,意味着企业需要自己建立从技术表现到使用决策的桥梁。支策认为,AI评测的核心应是业务后果:什么错误可以容忍,什么错误必须拦截,以及系统在信息不足时会怎样行动。
沿着任务链审视AI价值
高频简单问题可能提升总体成绩,却遮住少见但重要的错误。能源任务需要区分问题类型、后果和使用条件,才能理解表现分布。
知识更新、权限调整和接口变化都可能使原有测试失效。评测应持续对应真实任务,而不是长期重复一套已被系统熟悉的问题。
模型测试通过,不等于完整工作链可以运行。复核安排、异常恢复和用户理解共同影响可用性,技术成绩只是其中一类证据。
把必须正确、允许澄清和应该拒绝的问题分开,设置与任务相符的检查方式,不追求所有场景共用一个总分。
除了正常结果,还要观察缺失信息、冲突依据、越权请求和工具失败,确认系统知道何时停下或转交人工。
把验证条件记录到版本与使用范围中。扩大用户、任务或权限时重新判断,避免一次测试被无限外推。
评测也有成本。低后果任务可采用更轻量的验证,但应明确剩余不确定性;高后果场景不能只靠抽样满意度。
如果总体评分上升,最不能发生的那类错误,是否也得到了更可靠的控制?
智能体治理仍在探索,说明技术扩展往往快于组织安排。支策认为,AI持续运营需要同时经营任务、模型、知识与授权:任何一项变化,都可能改变原先允许使用的条件。
沿着任务链审视AI价值
业务使用开始后,效果、知识与风险会持续变化。临时建设团队不应长期代替业务负责人作出使用范围与结果取舍的决定。
模型更新可能改变工具调用方式,知识更新可能改变答案,权限调整可能影响任务完成。孤立审批每项变更,容易遗漏组合后的后果。
投诉、复核负担、拒答和失败并非仅是技术日志。它们可能意味着场景假设失效、任务范围过宽或组织尚未具备使用条件。
明确谁对业务结果、技术运行和知识质量负责,使问题能够在稳定的协同关系中被解释与处置。
把版本、依赖、权限和评测证据连接起来,识别哪些改变需要重新验证,哪些能够在已确认范围内持续迭代。
当结果偏离、风险上升或证据不足时,能够缩小任务范围、切回人工或停用相关能力;扩展不应成为唯一方向。
治理不应演变成对所有变化的同等审批。应按后果与可恢复程度区分处理,使低风险迭代保持效率。
当模型、知识或权限发生变化时,谁能够判断业务是否还能按原条件继续使用?
我们保持对技术进展的关注,也持续检验组织能否承接这些进展。AI的商业边界会随着任务经济性、失败模式与责任安排变化,不能用一次选型永久确定。
关注完成一项合格业务任务需要多少调用、复核时间与异常处理,区分价格下降和总体使用增加。
若复核负担同步下降,可重新评估任务组合;若调用更便宜但错误处理增加,应先重构任务边界。
关注智能体能否识别偏离、停止不适当行动,并在中断后恢复到业务可接受的状态。
恢复能力成熟时可以讨论更长的委托链;若失败难以定位,授权仍应保持在更小范围。
关注场景负责人是否能解释效果变化、调整使用范围,以及与技术团队共同决定模型与知识更新。
若业务能够持续经营能力,规模化具备组织基础;若责任仍集中在临时项目组,应先解决长期运行安排。
通过“任务解构—场景取舍—受控设计—证据验证—规模运营”五个阶段,连接业务投资决策与 AI 全生命周期治理。以公开管理研究、NIST 风险管理框架和智能体工程实践为参考,把评估集、权限、人工复核和退出机制前置到设计阶段。模型选择服从任务要求,推广范围服从验证证据;每一次能力升级,都重新检查业务效果与风险边界。
比较达到 GPT-3.5 MMLU 表现水平的推理成本;不是企业 AI 总成本或项目费用的下降比例。
Stanford 2025 · 2022.11—2024.10 · GPT-3.5 水平OSWorld 是结构化电脑操作基准;结果不能当作能源生产任务的成功率或上线门槛。
Stanford AI Index 2026 · OSWorld 基准跨地区、跨行业调查的受访者自报状态;不代表能源企业治理成熟度的测量结果。
IBM 2025 · 全球 1,700 位高级数据与分析负责人