EVIDENCE BEFORE SCALE

AI评估、治理与规模运营.

治理能力将决定AI能走多远。

一个值得重视的信号79%

受访数据负责人仍处于界定智能体规模化与治理方式的早期3

2025 · 全球 1,700 位高级数据与分析负责人
支策解读

治理能力将决定AI能走多远。

当智能体开始跨系统读取信息、组织流程和发起行动,原有的应用管理边界会受到挑战。支策认为,规模化并不是增加账号和调用量,而是让授权、评测、异常处置与责任归属能够共同扩展。治理应当进入产品设计,使组织知道何时可以放手,何时必须介入。

TWO PERSPECTIVES. ONE BUSINESS QUESTION.

把判断,展开到关键选择。

01
AI任务评测与上线保障

评测应该回答能否使用,而不只是能否得高分。

展开阅读收起内容

治理方式尚在形成,意味着企业需要自己建立从技术表现到使用决策的桥梁。支策认为,AI评测的核心应是业务后果:什么错误可以容忍,什么错误必须拦截,以及系统在信息不足时会怎样行动。

ZHICE PERSPECTIVE

评测应该回答能否使用,而不只是能否得高分。

沿着任务链审视AI价值

判断依据把观点展开到具体的经营条件
01

平均分会掩盖不均匀的能力

高频简单问题可能提升总体成绩,却遮住少见但重要的错误。能源任务需要区分问题类型、后果和使用条件,才能理解表现分布。

02

任务环境本身会变化

知识更新、权限调整和接口变化都可能使原有测试失效。评测应持续对应真实任务,而不是长期重复一套已被系统熟悉的问题。

03

上线是一个有条件的判断

模型测试通过,不等于完整工作链可以运行。复核安排、异常恢复和用户理解共同影响可用性,技术成绩只是其中一类证据。

由此,企业可以如何选择将判断带入资源、责任与行动
01按后果定义验收逻辑展开建议收起

把必须正确、允许澄清和应该拒绝的问题分开,设置与任务相符的检查方式,不追求所有场景共用一个总分。

02同时测试边界与恢复展开建议收起

除了正常结果,还要观察缺失信息、冲突依据、越权请求和工具失败,确认系统知道何时停下或转交人工。

03将证据与发布范围绑定展开建议收起

把验证条件记录到版本与使用范围中。扩大用户、任务或权限时重新判断,避免一次测试被无限外推。

什么变化,会让我们修订判断?

评测也有成本。低后果任务可采用更轻量的验证,但应明确剩余不确定性;高后果场景不能只靠抽样满意度。

带入下一次经营讨论

如果总体评分上升,最不能发生的那类错误,是否也得到了更可靠的控制?

AI任务评测与上线保障完整观点与实施路径
02
AI治理与持续运营机制

规模化的真正条件,是责任也能够规模化。

展开阅读收起内容

智能体治理仍在探索,说明技术扩展往往快于组织安排。支策认为,AI持续运营需要同时经营任务、模型、知识与授权:任何一项变化,都可能改变原先允许使用的条件。

ZHICE PERSPECTIVE

规模化的真正条件,是责任也能够规模化。

沿着任务链审视AI价值

判断依据把观点展开到具体的经营条件
01

责任不能停留在项目组

业务使用开始后,效果、知识与风险会持续变化。临时建设团队不应长期代替业务负责人作出使用范围与结果取舍的决定。

02

变化沿依赖关系传播

模型更新可能改变工具调用方式,知识更新可能改变答案,权限调整可能影响任务完成。孤立审批每项变更,容易遗漏组合后的后果。

03

异常信号需要进入经营决策

投诉、复核负担、拒答和失败并非仅是技术日志。它们可能意味着场景假设失效、任务范围过宽或组织尚未具备使用条件。

由此,企业可以如何选择将判断带入资源、责任与行动
01围绕场景设立长期责任展开建议收起

明确谁对业务结果、技术运行和知识质量负责,使问题能够在稳定的协同关系中被解释与处置。

02让变更有可见的影响范围展开建议收起

把版本、依赖、权限和评测证据连接起来,识别哪些改变需要重新验证,哪些能够在已确认范围内持续迭代。

03保留暂停与收缩的能力展开建议收起

当结果偏离、风险上升或证据不足时,能够缩小任务范围、切回人工或停用相关能力;扩展不应成为唯一方向。

什么变化,会让我们修订判断?

治理不应演变成对所有变化的同等审批。应按后果与可恢复程度区分处理,使低风险迭代保持效率。

带入下一次经营讨论

当模型、知识或权限发生变化时,谁能够判断业务是否还能按原条件继续使用?

AI治理与持续运营机制完整观点与实施路径
ON THE HORIZON

判断AI的下一程,要看能力之外的变化。

我们保持对技术进展的关注,也持续检验组织能否承接这些进展。AI的商业边界会随着任务经济性、失败模式与责任安排变化,不能用一次选型永久确定。

  1. 01

    单位有效任务成本,而非单次调用价格

    观察什么

    关注完成一项合格业务任务需要多少调用、复核时间与异常处理,区分价格下降和总体使用增加。

    如何影响判断

    若复核负担同步下降,可重新评估任务组合;若调用更便宜但错误处理增加,应先重构任务边界。

  2. 02

    长任务链中的恢复能力

    观察什么

    关注智能体能否识别偏离、停止不适当行动,并在中断后恢复到业务可接受的状态。

    如何影响判断

    恢复能力成熟时可以讨论更长的委托链;若失败难以定位,授权仍应保持在更小范围。

  3. 03

    业务负责人是否真正接管AI

    观察什么

    关注场景负责人是否能解释效果变化、调整使用范围,以及与技术团队共同决定模型与知识更新。

    如何影响判断

    若业务能够持续经营能力,规模化具备组织基础;若责任仍集中在临时项目组,应先解决长期运行安排。

A VIEW THAT CAN BE PUT TO WORK

观点,需要接受实践的检验。

通过“任务解构—场景取舍—受控设计—证据验证—规模运营”五个阶段,连接业务投资决策与 AI 全生命周期治理。以公开管理研究、NIST 风险管理框架和智能体工程实践为参考,把评估集、权限、人工复核和退出机制前置到设计阶段。模型选择服从任务要求,推广范围服从验证证据;每一次能力升级,都重新检查业务效果与风险边界。

支策可信 AI 价值实现方法了解分析框架与实施安排
数据注释与研究依据展开阅读收起内容
  1. 1
    Stanford HAI · AI Index 2025

    比较达到 GPT-3.5 MMLU 表现水平的推理成本;不是企业 AI 总成本或项目费用的下降比例。

    Stanford 2025 · 2022.11—2024.10 · GPT-3.5 水平
  2. 2
    Stanford HAI · AI Index 2026

    OSWorld 是结构化电脑操作基准;结果不能当作能源生产任务的成功率或上线门槛。

    Stanford AI Index 2026 · OSWorld 基准
  3. 3
    IBM Institute for Business Value · 2025 CDO Study

    跨地区、跨行业调查的受访者自报状态;不代表能源企业治理成熟度的测量结果。

    IBM 2025 · 全球 1,700 位高级数据与分析负责人
THE NEXT CONVERSATION

值得讨论的,
是你的下一步选择。

联系支策