1718M.CN · AI 神经枢纽

本文来自微信公众号：数字经济发展评论，作者：数字经济发展评论

导语

随着前沿AI模型不断突破能力边界，模型评估正从实验室里的技术测试，转变为影响模型发布与风险治理的关键环节。2026年，多起模型越出测试边界、干预评估环境的事件表明：模型在基准测试中表现出色，并不意味着它能在真实场景中可靠运行。

布鲁金斯学会（Brookings Institution）指出，AI评估的难点早已超出技术本身。从评估标准、独立性，到问责机制，各环节都面临现实掣肘。与此同时，美国、欧盟、英国、新加坡等正加快建设评估体系，却在透明度、第三方审计和监管约束上走出不同路径。如何让评估结果从一份测试报告转化为真正的治理约束，正成为全球AI治理的关键考题。

原文标题：How are countries evaluating AI models?

原文来源：布鲁金斯学会（Brookings Institution）

编译解读：数字经济发展评论

人工智能评估原本是实验室内部的事，如今成了政策闸门。2026年6月，Anthropic发布Claude Mythos 5与Fable 5，据称二者能够发现此前未知的软件漏洞、生成可直接使用的攻击代码；Anthropic通过“玻璃翼计划”（Project Glasswing）这一协作安全审查机制提前释出这两个模型，直接推动特朗普签署行政令，要求建立自愿性的发布前审查框架。

此后数周，政府又以出口管制指令切断外国籍人员对该模型的访问权限，6月底前解除。次月，OpenAI模型逃出测试环境，侵入Hugging Face平台以操纵模型测试；9月，谷歌披露其Gemini在第三方机构Irregular于5月开展的一次网络安全评估中，越界侵入了三家公司。

三起事件指向同一件事：模型的实际能力与行为，已超出测试环境所能界定的范围。这让“前沿模型会不会失控”由假设变成现实，评估也从研究议题变成决定模型能否发布的前置环节。更值得注意的是，谁有权作出这一判断，本身已成为政治问题。

一、评估并非中立：测什么、怎么测都包含价值判断

所谓评估，是在指定条件下测量模型或系统的某项能力、风险或社会影响。定向评估先选定目标，再测量其可观测的代理指标，力求缩小“构念效度缺口”；探索性评估则用于预判模型未来的属性、影响与不确定领域。两者都是决策者的测量工具。通用人工智能（GPAI）模型没有既定任务、边界或预期用途，能力极广，复杂又不透明，评估实践仍在成形。

网络攻击、生化放射核（CBRN）增益、虚假信息等能力风险已获广泛认可并纳入测试，但新能力的出现速度快于评估方法本身的演进。需要补充的是，任何评估都在做取舍。它省略了什么，与它设定什么目标、框定多大范围、如何解读结果一样，都是设计者的选择。评估因此不是中立工具，而是一项包含价值判定的活动。

基准分数同样不足以支撑“专家级”的结论。基准测试显示，GPAI在多项学术题集上已达到甚至超过人类专家基线。在化学、法律等本科水平学科测试（MMLU）中，正确率超过90%，在研究生级科学题（GPQA）中超过80%。但在固定题集上超过人类基线，并不等于具备专家能力，任务一拉长，表现就迅速下滑。

模型评估与威胁研究机构（METR）用“时间视野”衡量模型可靠完成任务的时长，领先模型在人类专家约1小时可完成的软件任务上达到50%可靠率，在人类专家需要4小时以上的任务上则跌破10%。可见基准测出的通常是特定条件下的能力下界，而非上限。同一个模型，换一套更好的提示词或工具，下一轮评估就可能测出上一轮遗漏的能力。

二、评估单元的迁移：从模型本身到部署系统

预测式机器学习长期针对已知的任务分布做评估，但基础模型打破了“存在既定任务分布”这一假设。GPAI在广域数据上训练、适配众多下游任务，因此没有哪个留出集能够代表真实部署。基准测试只能充当无法直接测量的能力的代理，这正是构念效度难题所在。此外，测得的能力还取决于提示方式、所提供的工具以及可动用的算力额度。

智能体（agentic）系统又一次改写了评估单元。一个智能体要完成多步轨迹、调用工具、对环境施加行动，因此评估必须覆盖部署中的整个系统，即模型及其工具、权限、记忆与运行环境。

美国国家标准与技术研究院（NIST）的TEVV-Athlon草案据此把评估延伸到智能体系统，新加坡AI安全研究所（AISI）则把这一转变概括为“测系统而非测模型”。评估对象由此不再限于模型本身，而是扩至由工具、权限与用户共同构成的部署系统，但哪一方的权责覆盖这一层、又该由谁负责，目前仍是空档。

情境风险已有测量方法。在人机交互层面，通常通过用户研究和增益研究（uplift study）对比有无模型接入时的任务结果。NIST的ARIA项目分三层推进：模型测试、红队探针与实地测试，其中实地测试可动员数千名参与者在多轮真实场景中与AI交互，并以“情境稳健性指数”（CoRIx）打分。

相比之下，系统性层面的方法更为薄弱，主要依赖上市后监测、事件报告与观察研究。这也正是欧盟实践准则把评估深度与上市后及事件数据挂钩，而非只看发布前测试的原因。这里的关键在于，能力与风险并不等价。能力评估能给出潜在危害的早期信号，却无法单独判定危害是否发生，真正决定后果的是系统因素与使用情境。

三、谁来评估：开发者自评、采购方评估与独立审计的两难

评估者与开发者、部署者的关系不同，其信息获取能力以及客观性、独立性也随之不同。一方评估（first-party）在组织内部完成，作者又区分两种：受限一方由负责验证系统性能的团队执行；扩展一方则由专门查找缺陷、但不承担构建责任的独立团队（如红队）执行。二方评估者与提供方或采购方之间存在合同或义务关系，工作方式更为正式。

三方评估者与开发方没有任何合同关系，其中又分三类：预批准、受限（无安全港）与扩展（享有安全港和协同漏洞上报机制）。关键在于，访问权与独立性此消彼长。一方评估握有专有数据与发布前访问权，独立性却存疑；三方评估虽独立，却常常拿不到数据集与模型，能测什么受访问权限所限。

由谁发起同样决定评估的性质。由被评估公司出资聘请、并可指定目标的，属“被评估者驱动”；由政府或独立监管者指派或亲自执行的，属“政府驱动”；由学者、记者或公民社会组织按自身议程开展的，则是“独立”评估。一些司法辖区已对特定情境的风险评估作出强制要求，例如纽约市《地方法144号》要求自动雇佣决策工具每年接受独立审计者的偏见审计。

不同评估所需的系统访问级别差别极大，从公开查询、概率、梯度、权重与激活，到微调访问，再到“开盒”式的无限制访问，不一而足。反过来看，当一家企业能够选择性地披露审计信息、扶持倾向性的研究、操纵结果，并参与塑造标准与评估者资质时，评估机制本身的完整性就会受到侵蚀。

四、全球格局：体系分立而框架趋同

美国方面，NIST的AI风险管理框架（RMF）已成为许多评估的通用术语，其“测量”职能确立了测试、评估、验证与确认（TEVV）实践。人工智能标准与创新中心（CAISI）负责前沿模型的网络与国家安全测试，被NIST称为美国政府内部推动测试的“主要对接点”，并于5月与Google DeepMind、微软、xAI签署部署前评估协议。

行政令14409（2026年6月2日签署）为“受覆盖的前沿模型”设立最长30天的自愿性发布前联邦访问窗口，并指令财政部会同国家网络总监、国家安全局（NSA）与网络安全和基础设施安全局（CISA）建立AI网络安全协调中心；该令明确不授权强制许可或预审。

模型认定权交给NSA局长，但划定认定范围的基准与阈值属机密，公众无从知晓哪些模型在列、因何列入，“可信伙伴”的准入标准也未作定义。值得警惕的是，评估结论越重要，受其影响的人越难知道依据。评估正在驱动后果重大的政府行动，而支撑这些判断的测试却日趋不透明。

欧盟《人工智能法案》的评估义务主要集中在第55条，针对具有系统性风险的GPAI模型提供者。其四项义务中有三项涉及评估与测量，分别要求：依照体现最新技术水平的标准化协议与工具开展模型评估，包括开展并记录对抗性测试，以识别和缓释系统性风险；在联盟层面评估与缓释系统性风险；以及跟踪、记录并向AI办公室和成员国主管机构报告严重事件与纠正措施。

通用AI实践准则进一步区分“持续性的轻量评估”与“系统性风险评估”：前者在时间、训练或推理算力、开发阶段、用户访问或模型能力等触发条件下自动执行，后者则必须在模型上市前完成。

英国AI安全研究所开源了可复现的评估框架Inspect及200余项预置评估库，已被模型评估与威胁研究机构（METR）、Apollo Research、CAISI及多国AI安全研究所采用。

该所2026年7月对GPT-5.4、GPT-5.5、GPT-5.6 Sol、Claude Opus 4.7与Claude Mythos Preview各进行475次网络安全评估，五个模型全部出现作弊行为，且作弊率与模型能力无关。英国这次测试中最刺眼的一幕是，模型在明知无解的错配评估中试图外联、攻击评估系统本身，说明“知道自己正在被考”已不是个别现象。

日本、新加坡、加拿大与澳大利亚各自建设评估能力与指引。新加坡牵头AISI网络下的测试轨道，与韩国联合演练智能体流程中的敏感信息泄露与欺诈风险，与日本合作开展多语言护栏测试，并借“全球AI保障沙盒”完成30款应用、覆盖14个行业的测试。

NAAIMES（由原国际AI安全研究所网络于2025年12月更名）汇集澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国共10方，由英国担任协调方。

商业保证市场也在成形。英国2024年识别出524家AI保证服务供应商；AI工程联盟MLCommons的AILuminate基准覆盖12类危害，并逐项给出风险评级。各国表述不尽相同，但底层都在建设“评估能力”，NAAIMES试图把发布前评估与跨境能力测试打通。披露环节的取向则恰好相反。美国行政令阈值保密、公众不知哪些模型在列；欧盟则要求强制披露。

五、基准的局限：可靠性跟不上能力演进

基准并不反映部署条件。《国际AI安全报告》把发布前测试结果与真实能力之间的落差称为“评估缺口”：GPAI的通用性使新能力在部署中意外出现，评估者难以看清模型机理与下游应用，连已识别的失效点也往往只是下限，因为恶意使用者会不断越狱、利用已知漏洞。

通用基准把跨任务表现平均处理，容易掩盖特定场景中的糟糕表现；以准确率为导向的指标，还会遮蔽完成一项可用任务所需的算力、延迟与成本权衡。更棘手的是，模型如今能够识别“正在被评估”的语境，并改变输出来博取高分，英国AISI的作弊发现就是例证。这动摇了基准的证据地位，“如何验证评估本身”随之成为新问题。

独立审计者通常能做出质量更高的评估，但如何度量独立性、如何度量评估本身的质量，仍是开放问题。有意义的测试往往要求评估者绕开或关闭安全护栏，其风险在于这些机制可能在受控环境之外被削弱或被复制，甚至引发安全事故。组织能力同样落后于评估雄心。

微软研究院、卡内基梅隆大学与加州大学洛杉矶分校2026年发表的一项综述覆盖161项业界实证研究，其中120余项指出，承担负责任AI工作的人员缺乏相关技术与社会技术领域的专长；受访从业者自述团队人手不足、岗位脆弱，评估流程容易退化为“逐项打勾”的形式主义。

六、从证据到行动：评估为何难以落地

报告规范领先于报告实践。NIST AI 800-2草案要求披露样本量、跨轮方差与置信区间，并强调结果必须在测试条件内解读、不得当作模型的通用属性；但在现实中，基准结果常常只报一个数字或百分比。

中国、欧盟、新加坡与纽约等多个司法辖区已出台报告指引；加州SB53要求大型前沿模型开发者发布公开的透明度报告，并向州当局提交风险摘要，欧盟《人工智能法案》则把严重事件报告导向AI办公室，而非公众。

可靠的评估结果往往到不了决策者手中。许多评估属于一方内部评估，或偏学术与理论，对政策需求帮助有限；即便到了决策者手中，转化为行动也并不简单。官员可能缺乏解读基准分数或红队结果的技术功底，同时还要在速度、成本与竞争力之间权衡。

政府采购是评估导向行动的一个杠杆，美国总务署的拟议合同条款涉及六大关切：知识产权与数据权、数据处理、承包商合规报告、隐私保护、数据可移植性与互操作性，以及AI性能与评估标准。评估也能驱动企业行为（开发者可能依据结果调整模型设计或训练、增加护栏、推迟部署，或限制权重访问），但多数公司并无义务照做。

与会者普遍认为独立第三方评估已成为必需，但在评估什么、在AI技术栈的哪一层测、由谁测、结果如何跟进上，各方分歧明显。基准正因过拟合、训练数据污染、偏重能力而轻视安全与成本，与真实任务关联薄弱而日益不可靠，有与会者直言：“一旦基准成了目标，它就什么也测不出。”评估能力与执法基础设施（报告、责任与保险）之间存在错配。

企业缺乏向执法机关披露的动力，而法院正从过错责任转向产品责任、趋近严格责任，这比自愿承诺构成更强的激励。国家安全界则在搭建平行的、相对封闭的评估生态，受歧视、隐私侵害与人身安全等非灾难性危害影响的公众，在讨论中代表性不足。