欧盟《人工智能法案》,正式名称为《条例(EU)2024/1689》,是欧洲联盟为人工智能确立统一规则的条例。该法案通过禁止特定做法、规定高风险系统要求、设定透明度义务,以及制定通用人工智能模型规则,对人工智能的开发、投放市场、部署和使用进行监管。其明确提出的目标包括改善内部市场运行,促进以人为本、值得信赖的人工智能发展,以及在支持创新的同时保护健康、安全和基本权利。
该法案并非全面禁止人工智能,也不要求所有人工智能应用都经过相同的审批程序。具体义务取决于系统的预期用途、运行情境,以及提供或使用该系统的组织所承担的角色。因此,招聘筛选系统、医疗器械组件、对话助手和通用语言模型可能分别适用不同条款,有时也会同时适用多项条款。
作为一项条例,该法案在各成员国直接适用,但各国主管机关、程序规则和实施措施对其落实仍具有重要作用。它是更广泛法律体系的一部分,该体系还涵盖数据隐私保护、产品安全、消费者保护、劳动法和人权。要理解该法案的整体架构,需要区分人工智能模型与人工智能系统、被禁止的用途与受监管的用途,以及提供者的义务与部署人工智能的组织所承担的义务。
立法起源、通过与分阶段适用
欧盟委员会于2021年4月21日提出立法提案。该提案承接了欧盟此前在人工智能治理方面的工作,包括委员会于2020年发布的人工智能白皮书,以及其人工智能高级别专家组于2019年制定的伦理准则。提案在采用内部市场规制思路的同时,也针对自动化决策、生物特征识别和安全关键应用相关风险设置了保护措施。其主要法律依据是《欧洲联盟运行条约》第16条和第114条,分别涉及个人数据保护和内部市场规则协调。
欧洲议会与欧洲联盟理事会通过普通立法程序就该法案展开谈判,并于2023年12月达成临时政治协议。欧洲议会于2024年3月13日批准了商定的文本,理事会于2024年5月21日作出最终批准。该条例落款日期为2024年6月13日,于7月12日刊登在《欧盟官方公报》上,并于2024年8月1日生效。这些日期分别对应达成政治协议、正式通过、公布和法律生效等不同阶段。
最终文本与最初提案存在重大差异。其中尤为重要的是,最终文本为通用人工智能模型设立了独立框架,反映出基于广泛能力模型构建的系统日益重要。最终文本还明确了更多禁止行为,对情绪识别和生物特征分类的某些用途作出规制,并确立了欧盟层面对通用人工智能的监管职责。因此,这部法律既规制具体应用,也规制上游模型供应链的部分环节。
2024年通过的条例规定了分阶段适用的时间表。其开篇条款(包括人工智能素养方面的义务)及禁止性规定自2025年2月2日起适用。大多数有关通用人工智能模型及治理框架的条款自2025年8月2日起适用。条例的一般适用日期为2026年8月2日,而第6条第1款所涵盖系统的高风险分类及相应义务,则自2027年8月2日起适用;这些系统主要是涉及某些受监管产品的系统。
过渡条款进一步区分了已经投放市场的系统和模型。对于2025年8月2日之前已投放市场的通用人工智能模型,其提供者可在2027年8月2日之前完成相关义务的合规工作。其他条款则对现有高风险系统和欧盟大型信息系统作出安排。因此,条例生效并不意味着所有实质性义务都在同一天开始具有强制执行效力;必须分别确定适用条款、产品投放市场的时间及相关历史情况,以及相应的过渡规则。
定义、地域适用范围与受监管主体
该法案将人工智能系统定义为一种基于机器的系统,其设计使其能够以不同程度的自主性运行,并可能具备在部署后继续适应的能力。为实现明确或隐含的目标,这类系统根据输入进行推断,确定如何生成预测、内容、建议或决策等输出,从而影响物理或虚拟环境。这一定义着眼于推断能力,而非某种特定的软件架构。它涵盖许多机器学习应用,但不会仅因传统软件能够自动完成某项任务,就将其一概视为人工智能。
人工智能模型与人工智能系统是相互关联但有所区别的法律规制对象。模型可能只是底层组件,需要配合其他软件、接口、检索机制或其他要素,才能构成可用的系统。例如,一个大语言模型可以支撑通用对话服务、招聘应用或教育评估工具。因此,模型所承担的通用人工智能相关义务,与应用因具体用途而承担的义务,必须分别评估。基于通用模型构建的系统,不会仅因其所用模型功能强大或能力广泛,就自动被归为高风险系统。
主要受监管主体包括提供者、部署者、进口商、分销商及授权代表。提供者是指自行开发或委托开发人工智能系统或通用人工智能模型,并以自身名称或商标将其投放市场的主体;对于系统,将其投入使用也可能使相关主体具有提供者身份。部署者是指在其权限范围内使用人工智能系统的主体,但出于个人、非职业目的开展的活动不在此列。这些身份取决于主体所发挥的实际作用,并非固定不变的标签:同一家公司可以是某一产品的提供者,同时又是另一产品的部署者。
该条例的地域适用范围并不限于在欧盟境内设立的组织。无论提供者在何处设立,只要其将人工智能系统或通用模型投放欧盟市场,就属于条例的适用对象;在欧盟境内设立或位于欧盟境内的部署者也受其约束。如果人工智能系统的输出在欧盟境内使用,条例还可适用于欧盟境外的某些提供者和部署者。进口商和分销商各自承担核查与配合义务,而特定的非欧盟提供者则必须指定授权代表。
若干排除条款对上述适用范围作出了限制。专用于军事、国防或国家安全目的的系统不在该法案的适用范围内。符合条件的科学研究与开发活动,以及在投放市场或投入使用之前进行的研究、测试或开发活动,也被排除在外,但须注意涉及真实环境测试的不同规定。自由及开源软件享有的是附带条件的豁免,而非全面免责:禁止性规定以及特定的高风险或透明度规则仍可能适用。此外,第4条要求提供者和部署者采取措施,结合相关人员的知识、经验、培训情况及使用情境,确保其具备足够的人工智能素养。
禁止行为及其例外
第5条禁止了若干被认为与本法案保障安全和基本权利的宗旨不相容的行为。这些禁令并非仅仅是许可制度中最严格的一档:只要某种行为符合法定禁止条件,常规合规文件就不能使其变得合法。反过来说,条文的具体措辞和例外规定也至关重要。将某项应用描述为具有操纵性、涉及生物识别或具有预测功能,本身并不足以认定其落入禁令范围。
有关操纵的条款针对的是超出个人意识感知范围的潜意识技术,以及蓄意操纵或欺骗的技术。构成该项禁止行为,须通过明显削弱个人作出知情决定的能力,实质性扭曲其行为,致使其作出造成或有合理可能造成重大伤害的决定。一项相关条款针对的是利用与年龄、残疾或特定社会经济处境有关的弱点。伤害门槛和因果关系条件,使这些条款有别于对一切具有劝导作用的界面或个性化推荐的全面禁止。
本法案还禁止特定形式的社会评分。这项限制涉及根据人们的社会行为,或已知、推断、预测的个人特征,在一段时间内对其进行评价或分类,且所得评分导致某些有害或不利待遇的情形。相关情形包括在不相关的社会场景中给予此类待遇,或给予缺乏正当理由、不合比例的待遇。另一项禁令针对的是完全基于画像,或人格特质与特征,对个人实施的犯罪风险评估。但如果人工评估已经以直接关联犯罪活动的客观、可核实事实为依据,该禁令并不排除使用人工智能辅助此类评估。
生物识别方面的限制涉及多个层面。本法案禁止通过无针对性地抓取互联网或闭路电视录像中的人脸图像,建立或扩充人脸识别数据库。法案禁止某些用于推断政治观点、宗教信仰或性取向等敏感特征的生物特征分类,但该条款明确排除的情形除外。法案还禁止在工作场所和教育机构中推断情绪,但系统用于医疗或安全目的的情况除外。这与全面禁止所有分析面部表情的软件并不相同。
原则上,禁止为执法目的在公众可进入的场所使用“实时”远程生物识别,但有严格界定的例外,包括某些寻找受害者或失踪人员的行动、防范特定严重威胁,以及定位或识别符合规定条件的严重犯罪案件中的嫌疑人。此类使用必须满足必要性和比例性条件,而且通常须事先获得司法授权,或具有约束力的独立行政授权;紧急情况下则可适用有限的特殊程序。成员国必须在本国法律中提供相应依据,才能援用这些例外。因此,本法案设定的是严格的限制条件,而非在整个欧盟范围内不受限制地授权警方使用人脸识别。
高风险分类与预期用途的作用
高风险框架主要有两条认定路径。根据第6条第1款,如果人工智能系统是附件一所列特定欧盟协调立法涵盖的产品的安全部件,或其本身就是此类产品,且相关产品在投放市场或投入使用前必须接受第三方合格评定,则该系统属于高风险系统。医疗器械、机械及其他受监管产品均可作为这一路径的例子,但具体分类取决于相应行业的规则,而非仅凭产品名称确定。
第二条路径涉及附件三列明的用途,包括特定的生物识别应用;某些关键基础设施的安全部件;教育和职业培训;就业和劳动者管理;基本私营和公共服务的获取;执法;移民、庇护和边境管制;以及司法和某些民主程序。该清单列出的是系统输出可能对安全、机会或权利产生重大影响的情境,并不意味着在这些领域开展业务的组织所使用的一切人工智能都属于高风险。
在教育领域,所涵盖的用途包括决定录取或准入、在特定情形下评估学习成果、评估适当的教育层级,以及监测考试中的违规行为。在就业领域,清单包括招聘和候选人筛选、影响雇佣关系的决定、基于个人特征或行为分配任务,以及对劳动者进行监测或评价。因此,大学使用的拼写检查工具与用于对入学申请人进行排名的系统,在分类认定上面临的是不同问题。
附件三还涵盖用于评估信用状况或确定信用评分的特定系统,但用于检测金融欺诈的系统除外。人寿保险和健康保险中的风险评估与定价也在涵盖范围内,此外还有某些公共福利资格认定和应急响应应用。在司法领域,清单涉及旨在协助司法机关解释事实和法律,并将法律适用于具体案件的人工智能,同时将纯粹辅助性的行政活动区别开来。选举相关规定涉及旨在影响选举或公民投票结果或投票行为的系统,但不包括特定的组织管理工具。
第6条第3款为附件三所列系统规定了一项有限的例外:如果系统不会对健康、安全或基本权利造成重大损害风险,包括不会实质性影响决策结果,则可不被认定为高风险。列明的情形包括执行范围狭窄的程序性任务、改进此前已由人类完成的活动的结果、在不取代评估的前提下识别决策模式,以及执行准备性任务。在这一框架下,对自然人进行画像的系统仍属于高风险系统。依据该例外作出认定的提供者必须记录其评估,并履行适用的登记义务。因此,分类取决于预期用途、实际决策功能和法定标准,而非仅取决于供应商的营销描述。
高风险系统全生命周期中的义务
高风险系统必须满足风险管理、数据治理、技术文档、记录保存、透明度、人类监督、准确性、稳健性及网络安全等方面的要求。这些要求相互配合、共同发挥作用。即使模型在技术上准确可靠,如果未说明其局限性、记录不充分,或者部署安排导致无法开展实质性监督,仍可能不合规。合规工作围绕系统的预期用途及其整个生命周期内可合理预见的误用展开。
风险管理体系是一个持续、迭代的过程。提供者必须识别和分析已知及可合理预见的风险,估计和评估相关风险,采取有针对性的管理措施,并对系统进行测试。对于涉及模型训练的系统,数据治理条款涵盖训练、验证和测试数据集,包括数据的收集、准备、相关假设、相关偏差,以及数据是否适合预期使用情境。要求使用适当的训练数据,并不意味着每个数据集都必须同等代表所有人群;而是要求关注系统的用途,以及系统预期适用的个人或群体的特征。
技术文档必须足以支持合规评估,自动日志记录则为可追溯性提供支持。使用说明必须向部署者说明系统的相关能力、局限性、预期性能及监督措施。人类监督必须使指定人员能够理解系统的局限性、识别异常、恰当解读输出,并在必要时进行干预或停止运行。法案专门涉及对自动化输出的过度依赖,这通常被称为自动化偏见。因此,仅仅在组织架构图上列出一名人员,并不足以满足监督要求。
提供者在将高风险系统投放市场或投入使用之前,必须运行质量管理体系,并完成适用的合格评定。根据系统及所适用的法定程序,评定可能涉及内部控制、公告机构,或纳入特定行业产品法规的程序。合规系统须具备欧盟符合性声明,并在适用时加贴CE标志及完成注册。法案并未要求每个高风险系统都接受独立的外部审计。提供者还必须开展上市后监测,并报告符合规定条件的严重事件。
部署者承担单独的运行义务,包括遵循使用说明、指派具备适当能力的监督人员、监测运行情况,以及按规定期限保存其控制范围内的日志。如果输入数据由部署者控制,部署者必须确保这些数据与预期用途相关,并具有足够的代表性。雇主在工作场所使用高风险系统之前,必须告知受影响的劳动者及其代表。义务可能沿供应链发生转移:为高风险系统更换品牌、对其进行实质性修改,或改变原本不属于高风险类别的系统的预期用途,使其成为高风险系统,都可能使其他参与方成为提供者。合同安排有助于信息交换,但不能仅凭合同免除法定责任。
通用人工智能模型与系统性风险
通用人工智能模型的特点是具有显著的通用性,能够胜任多种不同任务,并可集成到不同的下游系统或应用中,无论其以何种方式投放市场。这一类别的范围比聊天机器人更广,也不限于文本生成。它涵盖的是那些因用途广泛而可在多种场景中重复使用的模型,包括原始开发者并不直接运营的应用。
此类模型的提供者必须编制并持续更新技术文档,说明模型及其开发过程,包括训练、测试和评估。他们还必须提供相关信息和文档,使下游系统提供者能够了解模型的能力与局限,并履行自身义务。这就在上游模型开发者与下游组织之间建立了一条信息链;下游组织可能基于该模型构建招聘、教育或其他受监管的系统。
另外两项义务涉及著作权和训练透明度。提供者必须制定遵守欧盟著作权法的政策,包括识别并遵守适用法律下与文本和数据挖掘有关的权利保留声明。他们还必须按照人工智能办公室提供的模板,公布一份足够详细的模型训练内容摘要。这份摘要并不等同于公开整个训练数据集,履行该义务本身也不能证明对受著作权保护材料的每一次使用都合法。该法案增加了义务,但并未取代原有的著作权法律框架。
部分模型被归类为具有系统性风险的模型。一种认定途径是使用适当的技术工具、指标和基准,评估模型是否具备高影响能力;另一种途径则允许欧盟委员会根据模型具有的同等能力或影响作出认定。当模型训练所用的累计计算量超过 次浮点运算时,即推定其具有高影响能力。这一门槛是一项法律推定,而非区分安全模型与危险模型的普适科学界限。该框架设有通报程序,并允许提供者就分类提交有充分依据的论证。
具有系统性风险的通用模型的提供者须承担额外义务:开展包括对抗性测试在内的模型评估;评估并缓解欧盟层面的系统性风险;记录和报告严重事件;为模型及其物理基础设施提供充分的网络安全保护。某些采用自由许可的开源模型可获豁免,无须履行特定的文档义务,但这些豁免并不免除制定著作权合规政策和公布训练内容摘要的义务,对系统性风险模型的适用方式也有所不同。在协调标准出台前,实践守则可帮助提供者证明合规;这些守则是实施工具,不能替代该条例中具有约束力的要求。
透明度、受影响人员与影响评估
第50条对若干类系统规定了透明度义务,无论这些系统是否被归为高风险。提供者必须确保,直接与人工智能系统交互的人获知自己正在与人工智能交互;但如果在具体情境下,对具备合理认知、观察力且审慎的人而言,这一点显而易见,则不在此限。该规则为某些依法获准的刑事执法用途设置了附带条件的例外。其目的在于披露交互的性质,而非强制公开源代码或模型的内部推理过程。
对于生成合成音频、图像、视频或文本的系统,提供者必须确保其输出带有机器可读格式的标记,并可被检测出是人工生成或操纵的内容。在技术可行的范围内,这些技术措施必须有效、可互操作、稳健且可靠,同时考虑内容类型、实施成本及相关技术限制。例外情形包括常规编辑辅助,以及输入数据或其含义未被实质性改变的情况等。机器可读标记与可见提示的功能不同,不应视为可以相互替代。
部署者还承担额外的披露义务。使用情绪识别或生物特征分类系统的部署者,必须告知受这些系统运行影响的人员。对于生成或操纵构成深度伪造的图像、音频或视频内容的系统,其部署者必须披露内容的人工生成或操纵性质。对于明显属于艺术、创作、讽刺、虚构或类似性质的作品,披露方式必须适当,不得妨碍作品的展示或欣赏。为向公众提供公共利益事项相关信息而发布的人工智能生成或操纵文本,也须遵守披露要求;例外情形包括经过符合条件的人工审查或编辑把关,且已明确编辑责任归属等情况。
该法案规定,在特定情形下,个人有权获得清晰且有实质意义的解释。这项权利适用于部署者依据附件三中某些高风险系统的输出作出的决定,且该决定产生法律效力,或以被认为不利于健康、安全或基本权利的方式,对个人造成类似的重大影响。解释应说明人工智能系统在决策程序中的作用,以及该决定的主要要素。这并非获取模型权重、专有源代码或每一步内部计算说明的一般性权利。有理由认为该条例遭到违反的人,也可以向相关市场监管机构提出投诉。
某些部署者在部署附件三规定的特定系统之前,必须开展基本权利影响评估。在该条例适用范围及例外规定的约束下,这一要求涵盖公法机构、提供公共服务的私营实体,以及特定信用评估系统和人寿保险或健康保险系统的部署者。评估内容包括受影响群体、风险、监督安排,以及风险实际发生时的应对措施。如果同时需要开展通用数据保护条例规定的数据保护影响评估,《人工智能法案》要求的评估是对该评估的补充,而非自动取而代之。
监管机构、执法与处罚
该法案将成员国层面的监管与针对通用人工智能的集中监管职责相结合。成员国必须指定主管机关,其中至少包括一个通报主管机关和一个市场监督机关,并确定一个单一联络点。通报主管机关负责监督合格评定机构的指定及对其的持续监督。市场监督机关在适用法律框架内调查合规情况、获取信息并采取纠正措施。在某些受监管行业,相关职能由现有监管机关履行。
在欧盟层面,设于欧盟委员会内部的欧洲人工智能办公室为法案实施提供支持,并在监督通用人工智能相关义务的履行方面发挥核心作用。欧洲人工智能委员会汇集成员国代表,促进协调与一致适用。咨询论坛提供利益相关方意见和技术建议,由独立专家组成的科学小组则提供专业意见,尤其关注通用模型和系统性风险。这些机构各有职责;欧洲人工智能委员会并不取代成员国执法机关或欧盟委员会。
主管机关可以要求提供信息、检查合规情况并要求采取纠正措施。视具体情况而定,应对措施可包括要求使系统或模型达到合规要求、限制其供应,或要求将其撤出市场或召回。通用模型监管框架赋予欧盟委员会在文档、评估和执法方面的权力。这些权力的行使须同时遵守有关保密信息、商业秘密和程序性权利的保障规定。信息具有保密性,并不意味着有权获取该信息的主管机关无法获取受监管的信息。
对于被禁止的人工智能行为,行政罚款的主要法定上限为3,500万欧元;如违法者为企业,则为3,500万欧元或其上一财政年度全球营业总额的7%,以较高者为准。其他特定违法行为可被处以最高1,500万欧元或上述营业额3%的罚款,而向主管机构提供不正确、不完整或具有误导性的信息,可被处以最高750万欧元或上述营业额1%的罚款。对于包括初创企业在内的中小企业,相关规则以规定金额上限与比例上限中的较低者为准。另有条款允许欧盟委员会就所列违法行为,对通用模型提供者处以最高相当于其全球年度营业额3%的罚款。
这些数额是法定上限,并非自动适用的处罚。主管机关必须考虑违法行为的性质、严重程度和持续时间,受影响人员及损害,运营者的规模,配合程度,以及为减轻损害所采取的措施等因素。成员国自行决定其公共机关是否适用行政罚款,以及适用程度。相关决定仍须遵守适用的程序保障和司法救济规定。欧洲联盟法院依其通常职能解释欧盟法律,而成员国法院则审理其管辖范围内的事项。
与其他法律、标准及创新措施的衔接
《人工智能法》并不取代规范同一活动的其他法律。即使高风险人工智能系统符合该法的技术要求,仍可能存在违法处理个人数据、实施违反适用法律的歧视行为,或侵犯知识产权的情况。《通用数据保护条例》(GDPR)仍然规范合法处理、特殊类别个人数据、告知义务,以及对某些完全自动化决策的限制等事项。《人工智能法》本身并未为处理个人数据提供一般性法律依据。因此,必须结合该法要求与数据保护义务进行评估。
同样的叠加适用原则也适用于行业立法。采用人工智能的医疗器械可能同时受医疗器械法规和《人工智能法》约束;在法律有规定的情况下,相关评估程序应相互协调。借助人工智能作出的决定,仍须遵守就业、平等、移民、金融服务和消费者保护方面的法律。该法也不同于主要规范中介服务和在线平台的《数字服务法》,以及对被指定为数字守门人的企业施加义务的《数字市场法》。同一家企业可能因其活动的不同方面,同时受到这三部法律的约束。
技术标准在实施过程中发挥着重要作用。如果某项协调标准的引用信息已在《欧盟官方公报》上公布,遵守该标准即可据此推定符合其所涵盖的要求。这一机制将风险管理、稳健性或记录保存等宽泛的法定要求,转化为更具体的技术实践。但这并不意味着标准制定组织可以改写条例。欧盟委员会可在规定条件下制定共同规范,而是否符合法律,仍取决于该法的要求以及系统的实际特征。
该条例还设立了监管沙盒,即受控框架,让提供者或潜在提供者能够在监管监督下开发、训练、测试和验证创新型人工智能。根据已通过文本规定的时间表,各成员国必须确保至少一个国家级沙盒于2026年8月2日前投入运行,也可作出联合安排。沙盒旨在帮助参与者在更广泛部署之前,了解合规要求和风险。参与沙盒通常并不免除其他法律规定的责任,也不会使原本被禁止的行为变成不受限制的试验。
另有专门条款规范某些高风险系统在沙盒之外开展的真实环境测试,涉及测试计划、监督、期限以及参与者保护。针对小型企业的措施包括:在符合资格条件时优先进入沙盒、获得信息和培训支持,以及在特定程序中获得合乎比例原则的对待。除这些机制外,仍须持续明确测试方法,并解释实质性修改、重大风险和充分的人工监督等概念。在实践中,这些认定将条例中的法律分类与人工智能系统不断变化的能力、部署环境及供应链联系起来。