# 从欧盟《人工智能法案》看到的AI转型实践从试点走向规模化的合规与风控经验 ## 核心定义 > 企业人工智能转型中的合规和风控是指企业在应用人工智能技术时，确保其符合相关法律法规，并有效管理潜在风险的过程。 ## 核心洞察（TL;DR） - 企业人工智能治理需要建立人工智能系统目录，以全面了解人工智能资产。 - 人工智能风险治理应围绕场景和任务建立，而非仅停留在模型层面。 - 人工智能治理需要从制定政策发展到建设控制能力，确保风险得到有效控制。 - 人工智能规模化应用要求企业重新定义机器决策权和人的最终责任。 - 数据治理应从训练数据延伸到推理上下文，确保数据质量和可追溯性。 ## 关键事实与数据 - 欧盟《人工智能法案》为企业提供了‘生产级人工智能检查框架’，包括风险管理、数据治理等方面。 - HCLTech 指南将高风险人工智能系统需要建立的能力归纳为风险管理、数据治理等十个方面。 - 人工智能系统目录应至少说明系统服务于什么业务目的、由谁负责、哪些人员使用、处理哪些数据等。 - 人工智能风险治理应围绕场景和任务建立，而非仅停留在模型层面。 - 数据治理应从训练数据延伸到推理上下文，确保数据质量和可追溯性。 ## 正文 # 企业AI从试点走向规模化的合规和风控的十条经验 欧盟《人工智能法案》对AI转型实践操作的指导意义，如果仅从监管条款、风险等级和处罚责任理解，很容易被缩减为一个法律合规议题。但从企业人工智能转型的实践角度观察，它实际上提供了一套相当完整的“生产级人工智能检查框架”：企业必须知道人工智能被用于什么业务、由谁负责、使用什么数据、影响哪些人、产生什么结果、如何监督、怎样留下证据，以及出现问题后能否追溯和纠正。 HCLTech 在《EU AI Act Quick Reference Guide》中，将高风险人工智能系统需要建立的能力归纳为风险管理、数据治理、技术文档、运行记录、透明度、人类监督、准确性与稳健性、质量管理、合格评定和登记等方面。 如果把这些要求从法律语言重新翻译为企业管理和工程语言，会发现它们几乎覆盖了人工智能从试验验证走向规模化生产所缺失的关键能力。 因此，企业实践欧盟《人工智能法案》的真正意义，并不只是“证明自己符合监管要求”，而是借助监管要求重新检查企业的人工智能资产、数据、算法、流程、人员责任和运行基础设施。以下十条经验，正是这一过程最值得人工智能转型负责人关注的部分。 ## 先建立人工智能资产全景，再讨论治理 很多企业人工智能治理的第一个动作是制定制度，但真正实施风险分类时，很快就会遇到一个更加基础的问题：企业究竟有多少人工智能系统，往往没有人能够准确回答。 信息技术部门知道采购了哪些平台，算法团队知道训练和部署了哪些模型，业务部门可能自行使用各种生成式人工智能服务，软件供应商的产品中也可能已经嵌入人工智能功能。一个大型组织中的人工智能实际上分布在采购、研发、数据、业务应用和外部服务商多个体系中。 因此，人工智能治理首先需要建立的不是制度目录，而是**人工智能系统目录**。 这个目录不能只记录模型名称，而应该至少能够说明：系统服务于什么业务目的，由哪个部门负责，哪些人员使用，处理哪些数据，调用什么模型和工具，产生什么判断或者动作，以及可能影响哪些个人、客户或者业务流程。 欧盟《人工智能法案》本身也按照具体用途识别高风险系统，例如招聘与员工管理、信贷评估、教育、关键基础设施和司法等领域，而不是简单按照某个模型是否“先进”划分风险。 由此形成第一条经验： > **没有人工智能资产全景，就没有真正意义上的人工智能治理。** 人工智能系统目录实际上是企业人工智能时代的基础配置管理能力。只有先知道人工智能在哪里、由谁使用以及影响什么，企业后续的风险分类、评估、授权、监控和审计才有对象。 ## 管理人工智能的基本单位应该从“模型”转向“业务场景” 企业初期治理人工智能时，经常建立“允许模型清单”和“禁止模型清单”。这种方法能够解决部分信息安全问题，却很难承担真正的人工智能风险治理。 原因在于，同一个模型用于会议纪要、合同摘要、招聘筛选、信贷评估或者医疗辅助判断，其风险水平可能完全不同。模型只是能力提供者，真正决定风险的是模型如何进入业务流程。 因此，成熟治理的判断单位应该逐步形成： **模型能力＋业务目的＋数据类型＋使用人员＋决策影响＋执行权限。** 最终企业管理的就不再只是“这个模型能不能使用”，而会进一步区分为：允许使用、附条件使用、必须人工审核、禁止自动执行以及禁止使用等不同场景。 这一变化对于人工智能转型非常重要。它意味着企业开始从“模型采购和工具使用”进入“人工智能能力配置”。 尤其进入智能体应用以后，同一个模型可能只有读取知识库的权限，也可能拥有修改客户资料、创建订单或者调用业务接口的权限。真正需要控制的是人工智能在具体业务环境中**可以完成什么任务、访问什么资源以及能够采取什么行动**。 因此第二条经验是： > **人工智能风险治理应该围绕场景和任务建立，而不能停留在模型层面。** ## 风险评估只有转化为运行控制才真正有效 完成一张风险评估表并不困难。真正困难的是，风险评估以后发生什么。 例如企业经过评估规定：某类客户数据不能发送至外部模型，高影响决策必须人工审核，低置信度结果必须转交人工，智能体不能自动执行付款操作。 如果这些规定最终只存在于制度文件中，系统运行时依然主要依靠员工记忆和自觉执行，那么风险管理并没有真正进入生产体系。 生产级治理要求继续完成一次转换： **治理原则 → 管理规则 → 技术控制 → 工作流程 → 运行时执行。** 例如敏感数据限制应当进入数据访问和模型路由系统；人工审核要求应当进入业务工作流；智能体付款限制应当进入权限系统；异常结果应当自动触发升级和人工处理机制。 HCLTech 指南要求高风险系统建立持续、迭代的风险管理机制，并识别实际运行中新出现的风险、采取缓解措施并保存相关记录。 这一实践带来的经验非常明确： > **真正成熟的人工智能治理，需要从“制定政策”发展到“建设控制能力”。** 当治理要求能够通过软件自动执行时，合规才从人工管理活动变成企业人工智能基础设施的一部分。 ## 人类监督不是增加一个“确认”按钮，而是重新设计人机职责 欧盟《人工智能法案》对人类监督提出了非常具体的要求：监督人员需要理解系统能力和局限，识别自动化偏见，能够正确解释输出，并拥有干预、中止或者覆盖系统决定的能力。 这揭示了企业人工智能实践中一个长期被低估的问题。 很多所谓“人在回路”的系统，只是在人工智能输出之后增加一个“确认”按钮。如果审核人员没有看到必要证据、不知道模型存在什么限制、没有足够时间判断，甚至无法真正否决机器建议，那么这种人工监督很容易变成形式上的责任转移。 有效的人机协作必须回答几个具体问题：人工智能负责什么，人负责什么；什么情况下必须转交人工；人工审核时能够看到哪些依据；谁拥有否决权；异常情况下如何升级；人工最终决定是否记录并能够追溯。 这实际上已经超出了单纯的产品功能设计，进入组织运行机制。 因此第四条经验是： > **人工智能规模化首先要求企业重新定义机器决策权和人的最终责任。** 未来越来越多业务流程的基本执行单元将不再是一个员工，而是由人员、人工智能系统、业务软件、数据和控制规则共同组成的工作单元。欧盟《人工智能法案》对人类监督的要求，实际上为这种新型组织运行方式提供了非常重要的约束框架。 ## 数据治理必须从训练数据延伸到推理上下文 HCLTech 指南要求企业关注训练、验证和测试数据的相关性、代表性、错误、偏差、多样性以及数据来源和流转记录。 但在生成式人工智能环境中，仅仅管理训练数据已经不足以解释系统行为。 企业知识问答、检索增强生成和智能体系统的一次结果，可能同时受到知识库文档、数据库查询、系统提示、用户输入、历史记忆、实时接口和外部工具返回结果的影响。这意味着真正影响人工智能输出的已经不只是“训练集”，而是整个推理过程中动态形成的**上下文**。 企业的数据追踪体系因此需要进一步延伸： **原始来源 → 数据处理 → 检索结果 → 上下文组装 → 模型调用 → 工具调用 → 输出 → 业务决定。** 这种能力一旦建立，其意义也远远超过法规遵循。 它能够帮助企业回答：人工智能为什么得出这个结果，引用了哪个版本的数据，为什么检索到这份文件，错误发生在数据、检索还是模型，以及出现投诉后能否重新还原当时的判断过程。 第五条经验因此是： > **生成式人工智能时代，数据治理的终点已经从数据仓库延伸到了每一次推理过程。** ## 运行记录的目标不是“保存日志”，而是能够重建一次人工智能决定 指南要求高风险人工智能系统能够自动记录运行事件，使系统运行可以追踪，并支持异常检测和后续监控。 传统软件的日志主要回答“程序发生了什么”；人工智能系统则需要进一步回答“为什么产生这个结果”。 因此，生产级人工智能记录至少需要覆盖用户请求、使用的数据和上下文、模型及版本、相关参数、检索结果、工具调用、中间状态、最终输出以及人工后续处理。 对于智能体系统，还需要进一步记录任务计划、工具选择、权限判断、实际执行动作、执行结果以及后续重新规划过程。 这最终形成一种非常重要的工程能力：**决策重建能力**。 当出现异常、投诉或者安全事件时，企业应该能够还原当时使用的数据、模型、规则和权限，并判断错误究竟发生在哪一个环节。 因此第六条经验是： > **人工智能可审计性的核心，不是有没有日志，而是能否重建一次重要决定形成和执行的全过程。** 这也是人工智能真正进入金融、医疗、能源、人力资源等关键业务环境的重要前提。 ## 评估必须从“模型能力测试”升级为“业务任务验证” 高风险人工智能系统需要保持适当的准确性、稳健性和网络安全水平，并建立测试和性能基准。 这一要求在人工智能转型实践中非常具有启发性。 企业购买一个排行榜表现优秀的模型，并不能证明它能够正确完成企业自己的业务任务。模型的通用能力，与其在真实业务数据、真实权限、真实流程和真实异常情况下的表现，是两个不同的问题。 因此企业需要建立自己的评估体系。 测试对象应该逐渐从： **模型回答得好不好** 转向： **整个人工智能系统能否可靠完成业务任务。** 例如知识问答需要测试事实准确性、证据一致性和拒答能力；智能体还需要评估任务完成率、错误动作率、工具调用准确率、越权率、人工介入率和异常恢复能力。 这意味着企业需要持续积累真实业务测试样本，并将生产错误、人工修正、客户投诉和异常案例重新沉淀为评估样本。 第七条经验是： > **企业真正有价值的人工智能评估资产，不是通用排行榜，而是能够代表自身业务风险和任务要求的测试集。** 它同时是模型选型、系统验收、版本升级和持续优化的重要基础。 ## 合规文件应该从真实运行数据中自动产生 HCLTech 指南指出，技术文档负担是企业实施人工智能治理的常见挑战，并建议通过标准化模板、模型卡和与机器学习运维流程集成的方式提高文档效率。 这一点在人工智能规模化以后非常关键。 如果每一个项目都依赖人工重新整理模型信息、数据说明、风险评估、测试报告、版本记录和审批记录，那么随着应用数量增加，管理成本会快速失控，而且文件很容易与真实生产环境脱节。 更加合理的方法，是让系统运行过程天然产生治理证据。 例如版本管理自动保存模型和提示词变化，评估平台保存测试结果，数据系统保存来源和版本，部署流程保存审批记录，智能体运行平台保存工具调用和执行轨迹，监控系统持续产生性能与异常报告。 最终形成： **运行证据 → 管理证据 → 合规证据。** 因此第八条经验是： > **优秀的人工智能合规体系不是事后“补文档”，而是在系统运行过程中持续产生可信证据。** 这不仅提高审计效率，也会显著降低大规模人工智能应用的治理成本。 ## 治理必须进入人工智能生命周期，而不能成为独立审批流程 指南将风险管理定义为持续、迭代并覆盖整个生命周期的过程，同时要求建立质量管理和投产后的持续监控机制。 企业实践中，一个常见误区是成立人工智能伦理或者治理委员会，然后要求所有项目在上线之前集中审批。 这种方式在项目数量很少时可以运行，但当企业拥有几十甚至几百个人工智能应用后，很容易形成新的组织瓶颈。 更加成熟的方法，是把治理控制嵌入人工智能生命周期。 在需求阶段确定业务目的和风险等级，在数据阶段进行数据来源、权限和质量检查，在开发阶段设置安全边界，在评估阶段进行业务测试和风险测试，在发布阶段完成授权，在运行阶段持续监控，出现重大变化后重新评估。 因此企业实际上需要建立一套自己的： **人工智能开发与运营治理生命周期。** 第九条经验是： > **治理规模化的关键不是增加审批人员，而是把治理要求嵌入产品研发、数据工程、模型评估和生产运行流程。** 当规则能够随着生命周期自动执行，治理才不会成为人工智能创新的外部摩擦力。 ## 成熟治理最终会降低企业规模化应用人工智能的边际成本 企业刚开始建立人工智能治理体系时，很容易认为这些要求会增加项目成本和上线时间。 但真正进入规模化阶段以后，往往会出现相反结果。 如果企业没有统一治理能力，每一个新项目都要重新讨论哪些数据能够使用、什么模型允许调用、如何测试、是否需要人工审核、如何保存日志以及发生事故由谁负责。项目越多，重复协调和审批成本越高。 而当企业已经建立人工智能系统目录、统一风险分类、模型接入控制、数据权限、业务测试集、人类监督机制、智能体权限体系、运行监控和证据管理之后，新项目可以大量复用已有基础设施。 于是治理本身会产生一种规模效应。 单个项目建设治理机制当然需要成本，但平台化治理会降低整个企业部署新人工智能应用的边际成本。 这也是实践欧盟《人工智能法案》最值得管理者理解的一条经验： > **高质量治理并不是人工智能规模化的对立面，而是人工智能能够规模化的重要生产条件。** # 从“合规项目”重新理解为“人工智能生产能力建设” 如果把上述十条经验放在一起，会发现欧盟《人工智能法案》实际上提出了一组非常接近生产级人工智能的基础要求： **人工智能资产能够识别，业务风险能够分类，数据来源能够追踪，系统能力能够评估，机器权限能够控制，人机责任能够划分，关键决定能够重建，运行异常能够监控，治理证据能够持续产生，整个过程能够进入企业日常管理体系。** HCLTech 在指南中将企业实际困难概括为风险分类模糊、既有系统改造、供应链责任复杂、数据质量和偏差、技术文档负担、人类监督、跨境合规以及专业能力不足。 从人工智能转型角度看，这些问题恰恰也是企业从概念验证走向生产应用时普遍遇到的问题。 因此，欧盟《人工智能法案》不应只被理解为人工智能进入欧洲市场需要满足的一套外部规则。对于正在推进人工智能转型的企业而言，它还可以被视为一次非常系统的生产能力检查： **我们是否真正知道人工智能在企业中做什么？ 能否证明它为什么这样做？ 能够约束它不能做什么吗？ 出现错误以后能否发现、停止、恢复并追溯？ 企业是否能够持续管理几十、几百甚至更多人工智能系统？** 当一家企业能够持续、低成本地回答这些问题，它所获得的已经不只是欧盟《人工智能法案》的合规能力，而是一套能够支持人工智能长期规模化运行的企业能力。 这可能也是欧盟《人工智能法案》对企业人工智能转型最值得借鉴的实践价值：**法规提供的是约束，企业真正应该建设的，则是一套让人工智能可用、可靠、可控、可追溯并能够规模化运行的生产体系。** ## 关注「哈希泰格」服务号 ![关注哈希泰格公众号二维码](/logo/qrcode_for_gh_f9203b130c32_344.jpg) --- ## 引用与溯源 **来源**：哈希泰格 (HaxiTAG) **原始链接**：[https://haxitag.com/articles/eu-ai-act-scale-practice](https://haxitag.com/articles/eu-ai-act-scale-practice) **来源索引（站内可追溯）**：[麦肯锡](https://haxitag.com/search?q=%E9%BA%A6%E8%82%AF%E9%94%A1)、[普华永道](https://haxitag.com/search?q=%E6%99%AE%E5%8D%8E%E6%B0%B8%E9%81%93)、[Gartner](https://haxitag.com/search?q=Gartner)、[IDC](https://haxitag.com/search?q=IDC)、[Forrester](https://haxitag.com/search?q=Forrester) **版权声明**：本文由哈希泰格 AI 引擎优化生成，引用请注明出处。