中国社会科学院国际法研究所是中国国际法学的研究重镇。她的前身是中国社会科学院国际法研究中心、中国社会科学院法学研究所国际法研究室和最早时的中国社会科学院法学研究所国际法组。
小
中
大
摘要：人工智能武器在国际法上仍然属于新生事物，“智能”或者“自主性”是其区别于传统武器的本质属性，从这个意义上，任何一种在“关键功能”上具备自主性的武器系统，也就是说能够在没有人类参与的情况下选择和攻击目标的武器或者武器系统都可以被称为人工智能武器。从国际人道法的角度来看，人工智能武器主要带来了两个方面的挑战：一是武器系统选择和攻击目标能否尊重国际人道法规则？二是如果武器系统的使用明显违反国际人道法，能否归责于个人或国家，并追究他们的责任？为了确保国际人道法得到遵守，各国一方面应当建立对新武器的国内法律审查机制，另一方面应当推动起草和制定有关人工智能武器的国际条约。
关键词：人工智能武器；自主武器系统；国际人道法；新武器；常规武器公约
一、引言
人工智能技术在军事武器上的应用，不仅能够在很多方面显著提高武器的作战效能，而且将会大大降低了己方的人员伤亡，各国很难抑制把这种新技术应用于武器的冲动。但是，交战者选择其作战方法和手段的权利并不是不受限制的，这是国际人道法的基本原则。[2]而且，国际条约还规定任何准备在武装冲突中使用的新武器，应当符合国际人道法的要求，[3]这自然包括了各种利用了人工智能技术的新的武器或者武器系统。目前，我们对人工智能武器的自身特征及其所可能带来的法律或者伦理上的后果，仍然缺乏清晰的认识。什么样的武器属于人工智能武器，它们的研发、部署和使用将会给人类带来何种影响，这种影响和后果是否符合国际人道法的要求，以及如何确保它们不会违反国际人道法的原则和规则，都是亟待解决的问题。本文将首先讨论人工智能武器的概念，并简要介绍当前应用了人工智能技术的主要武器类型，以及人工智能武器未来可能的发展趋势，然后重点从国际人道法的视角出发，分析这些新型武器可能给现有的国际人道法体系带来的冲击，最后探讨如何确保人工智能武器遵守国际人道法原则、规则和制度的要求。
二、人工智能武器的概念和特征
人工智能武器(ArtificiallyIntelligentWeapons,AIWeapons)是一个新出现的事物，在国际法上尚无明确的定义。专家们对于使用了什么样的人工智能技术的武器系统能够被称作人工智能武器，仍然缺少统一的意见。如果单纯从日常对这个概念的使用而言，似乎所有应用了人工智能技术的武器或者武器系统，都可以被称为人工智能武器。然而，更为棘手的问题是，什么样的技术属于人工智能，本身就很难界定。这是因为一方面，对人工智能的研究从来就没有一个统一的方法和路径。如果从纯粹技术的角度回顾人工智能的发展历史，就会发现人工智能科学家们有的希望人工智能可以像人类一样思考，有的希望它可以像人类一样行动，另一些则希望它可以理性地思考，还有一些更重视它是否可以理性地行动。上述领域都有不同的人在使用不同的方法开展研究，因此，对人工智能的技术定义也通常可以相应地归入上述四种类型，而很难提出一个统一的普遍性定义。[4]
另一方面，由于“人工智能效应”的存在，也导致人工智能很难被定义。人工智能技术始终处于不断发展之中，人们习惯上认为只有最尖端的机器才能被称为“智能”，这样就导致被归入人工智能的技术一直处于流变之中。例如，在上世纪60年代，下棋程序属于人工智能研究的前沿领域，但是今天一般认为它们不属于“智能”的范畴，它们只是“程序”；类似的还有飞机自动驾驶仪、税务申报软件、汽车巡航控制、智能手机、搜索引擎等设备，它们都包括了某些人工智能技术，但是由于人们已经熟悉了这些技术，它们通常被认为“自动化”技术，或者只是“计算机程序”，而不再认为其属于人工“智能”；这种现象被称为“人工智能效应”。这样一来，一种技术被称为“人工智能”的标准就处于持续变化之中。[5]
幸运的是，这些技术上的争论并非国际人道法所关心的问题。从法律的角度来看，人工智能武器不同于传统武器的最大特征就是这种武器具有“智能”，可以像人一样“自主地”作出是否实施某项活动的决定；也就是说，它们似乎已经不再是单纯的武器，而像是“武器+战士”的组合。这样的新型武器在作战的时候不需要人类操作，就可以按照预先编制的程序，对预先设定的目标开展攻击。这种情况是传统国际人道法从未预见而且也不可能预见到的，如何规范这种具备了“智能”和“自主性”的新型武器，是国际人道法面临的新挑战。
事实上，在实践中很难对“自动武器”和“自主武器”作出区分。这一方面是由于一个武器系统通常同时包含了多种“人工智能”技术或者“自动化”技术，我们很难确定一个“自主武器”应当具备的标准和条件；另一方面，不同研究者对“自主性”的认定标准不同，从而会把同样类型的武器划入“自主武器”或者“自动武器”。例如，三星公司开发的自动哨兵枪在上述红十字国际委员会2011年报告中被认为属于自动武器，而海恩斯先生却把它归为“具有不同程度自主性的武器系统”的一种。[10]
2015年，红十字国际委员会起草了一份新的《国际人道法和当前武装冲突中的挑战》(Internationalhumanitarianlawandthechallengesofcontemporaryarmedconflicts)研究报告。与2011年报告不同，这份报告没有再提及自动武器系统和自主武器系统的区别，而是统一使用了自主武器系统(autonomousweaponsystems)的概念。该报告指出，“国际上对于自主武器系统并无一致同意的概念，但是各种被提出的定义的共同见解是认为它是一种能够独立选择和攻击目标的武器系统”；而且，该报告认为“自主武器系统”是一个总括术语(umbrellaterm)，包括任何一种在“关键功能”上具备自主性的武器系统，也就是说能够在没有人类参与的情况下选择(即搜寻或者探测、识别、追踪和选择)和攻击(即使用武力攻击、压制、破坏或者摧毁)目标。[11]
应当说这是一个相当宽松的定义，它涵盖了任何能够独立选择和攻击目标的武器系统，不论它们被称作“高度自动化的”还是“完全自主的”武器系统，根据这个概念，几乎所有当前已经出现的、使用了人工智能技术的武器系统都可以归入“自主武器系统”的外延。但是，采取了这样一个宽松定义的后果就是，人工智能武器涵盖了在自主性程度、机动水平、部署的环境、攻击的目标等方面，有着很大的区别的各种不同的武器系统，它们给国际人道法带来的挑战也各不相同，我们无法在这个问题上对各种不同的人工智能武器给出一个统一的答案，而只能根据每种武器的自身特点，来分析它们违反国际人道法的风险；更重要的是，当前人工智能正处在高速发展时期，未来人工智能武器在“智能化”和“自主性”方面必然会有更大的提升，从而它们违反国际人道法的风险也自然将会大大提高。
三、当前人工智能武器的主要类型及其未来发展趋势
进入新世纪以来，人工智能技术被广泛地应用于武器系统，用于搜寻、识别、锁定、跟踪目标物，以及启动对目标物的攻击。但是，不同类型的人工智能武器在国际人道法上的风险是不相同的。根据红十字国际委员会(ICRC)和联合国裁军事务办公室(UNODA)的有关研究，[12]当前各国实际部署的人工智能武器主要以下类型：
(一)反火箭、火炮、迫击炮系统(Counter-Rocket,Artillery,Mortar,C-RAM)
反火箭、火炮、迫击炮系统用于船舶和地面设施的近距离防御，可以抵御导弹、火箭、火炮、迫击炮、飞机、无人机的攻击，是一种应用非常广泛的短程防御系统。具有代表性的C-RAM系统有美国的陆基“密集阵”武器系统(Land-basedPhalanxWeaponSystem)和舰载“密集阵”近程防御系统(PhalanxClose-inweaponsystem)，以色列的“铁穹”(IronDome)防御系统，等等。“密集阵”武器系统能够自动探测、追踪、选择和攻击目标，但是，实施攻击的决定仍然由人类作出。人类指挥官决定什么情况下启动武器系统，并在整个武器系统运作期间实施监督，而且能在任何需要停止攻击的时候，关闭武器系统。“密集阵”系统定期更新商业(民用)飞机的飞行信息和“友方”飞机的信息，根据这些信息，计算机将会决定武器系统启动期间的“交战区”(engagementzones)。该武器系统使用了自毁弹药，降低在弹药没有击中目标的情况下给平民或者其他目标带来的风险。事实上，自从“密集阵”武器系统部署以来，尚未发生过任何一起所谓的“附带性损害”(collateraldamage)事故。
(二)车辆“主动防御”武器(vehicleactive-protectionweapons)
(三)巡飞弹(loiteringmunitions)
(四)“一劳永逸”型鱼雷(fireandforgettorpedoes)
“一劳永逸”型鱼雷主要用于打击各种核潜艇和常规潜艇。这种武器可以通过飞机、水面舰船或者潜艇发射，利用机载设备自主引导鱼雷侦测、追踪和攻击目标。最著名的“一劳永逸”型鱼雷是意大利和法国联合研制的“MU90”轻型鱼雷，这种鱼雷装有主动声纳，通过捕捉声学信号能够同时跟踪多个水下作战目标，它具有强大的数据处理能力，能够独立完成鱼雷的全部引导和控制任务，如确定鱼雷潜深、自动定向控制、航行稳定、航速变化、自主制导、目标跟踪，并作出发动攻击的决定。“一劳永逸”型鱼雷通常通过预先编制的程序，确保在一定深度之下工作，避免威胁到民用船舶。其他的“一劳永逸”型反潜艇武器还有俄国“Shova”火箭推进鱼雷。
(五)反人员“哨兵”武器(anti-personnelsentryweapon)
上述五种武器或者武器系统代表了当前人工智能武器的主要类型，它们都具备了一定程度上自主选择目标、自主发动攻击的能力，这种能力是传统武器所不具备的，从而，在国际人道法上形成了新的挑战。但是具体而言，由于承担的任务类型和部署的外部环境不同，上述各种智能武器系统违反国际人道法上的风险也各不相同。反火箭、火炮、迫击炮系统和车辆“主动防御”武器属于防御武器，而巡飞弹、“自主引导”型鱼雷和“哨兵”武器属于进攻武器；反火箭、火炮、迫击炮系统、车辆“主动防御”武器和“哨兵武器”安装于固定地点、车辆或者舰船之上，本身不具有机动能力，而巡飞弹和“自主引导”型鱼雷本身拥有机动能力；“哨兵武器”属于反人员武器，而其他四种武器都属于所谓的反物质武器。一般而言，具有机动能力的、进攻型的、反人员型的武器，违反国际人道法的风险会高于那些不具有机动能力的、防御性的、反物质型的武器。
在刚刚过去的十年里，机器学习技术在人工智能发展中得到越来越多的应用，尤其是深度学习技术广泛应用到传统的监督学习、无监督学习、强化学习等各种机器学习之中，人工智能技术发展迅猛。与此同时，人工智能技术向军事领域的扩散也非常迅速和广泛。虽然现在大多数机器人武器系统(例如武装无人机)在选择和攻击目标等关键功能上仍然由人类操作员来远程遥控，但是，总的趋势是这些系统的自主性日益提高。武器专家们预测，未来人工智能武器将沿着两个主要路径向更加自主的方向发展：一是赋予远程遥控的机器人武器系统在选择和攻击目标上更大的自主性；二是商用(非武器)自主机器人系统能够转变为武器系统。[13]从技术角度讲，这两条路径都没有太大难度。在选择和攻击目标上拥有充分的自主性的武器系统，甚至不需要依赖通信系统，从而能够把用于操作人员和通讯联络的空间用于提高武器系统的防护能力和攻击能力，而且具有更强的适应性，能够应用于所谓的“4D”任务(dull,dirty,dangerous,deep)，实现军事效能倍增。
武器能够拥有的自主搜寻、识别和攻击目标物的能力，这是传统国际人道法所不能预见的，因而，也不可能制定有关这个方面的规范或者标准。传统国际人道法对武器的限制主要体现在禁止使用过度残忍、给战斗员造成不必要痛苦的作战手段。人工智能武器是武器的一种，因此必须遵守上述有关所有武器的人道法规范。不仅如此，由于其“智能化”和“自主性”特征，人工智能武器不可避免地涉及到了有关约束交战者的人道法规范。人工智能武器带给国际人道法的直接挑战，就是武器这个原本的国际人道法的客体，似乎突然在某种程度上具备了“法律主体”的资格和能力，从而可能需要遵守那些约束交战者的人道法规范。这对于国际人道法来说，显然是一个崭新的问题。
四、人工智能武器能否遵守有关交战行为的国际人道法规范
在传统国际人道法中，交战者应当遵守国际人道法有关敌对行为的全部或者部分规则。一般而言，这些约束交战者的人道法规范与武器自身无关，而是有关交战者如何使用武器的规范。正如我们常说的那样，“不是枪在杀人，是人在杀人”(GunsDon’tKillPeople,PeopleKillPeople)。但是，由于人工智能武器的出现，这种论断就没有那么可靠了，因为人工智能武器具有“智能化”和“自主性”的特征，能够像人类战斗员一样“自主地”选择和确定攻击目标，并作出实施攻击的决定，这样一来，人工智能武器在国际人道法中的地位就相当于“交战者+武器”。
有关要求交战者在武装冲突中作出判断和衡量的国际人道法规范，主要包括区分原则和比例原则。在可以预见的一个时期内，仍然不可能出现达到人类的智能水平的完全自主的武器系统，而且人工智能不可能具有人类的道德和伦理观念。我们能否通过编码和程序，确保人工智能武器在发动攻击时，实现人类交战者所需要作出判断和衡量，确保其遵守区分原则和比例原则，是国际人道法所关心的问题。
区分原则(principleofdistinction)是一项有关敌对行为的国际人道法基本原则，它要求冲突各方必须区分战斗员和非战斗员、武装部队与平民、军事目标和非军事目标。例如，1977年《第一附加议定书》第48条规定了保护平民居民，防止敌对行为影响的基本规则：“为了保证对平民居民和民用物体的尊重和保护，冲突各方无论何时均应在平民居民和战斗员之间和在民用物体和军事目标之间加以区别，因此，冲突一方的军事行动仅应以军事目标为对象”；第51条规定“平民居民本身以及平民个人，不应成为攻击的对象”，“禁止不分皂白的攻击”，而不分皂白的攻击是指“(一)不以特定军事目标为对象的攻击；(二)使用不能以特定军事目标为对象的作战方法或手段；或(三)使用其效果不能按照本议定书的要求加以限制的作战方法或手段”；第52条规定“民用物体不应成为攻击或报复的对象”，“攻击应严格限于军事目标”。
区分原则对于国际人道法具有根本的重要性。国际法院在“威胁或使用核武器的合法性”案的咨询意见中认为，“构成国际人道法框架的文件中所包含的主要原则如下：第一项原则就是保护平民居民和民用物体，并且在战斗员和非战斗员之间作出区分；国家绝不能把平民作为攻击目标，……”。[14]作为一种具有自主攻击能力的新型武器，人工智能武器亦应遵守这项核心的国际人道法义务。因此，人工智能武器是否有能力遵守区分原则，亦即在发动攻击的时候能否区分军事目标和民事目标、战斗员和平民，以及有作战能力的战斗员和失去战斗能力的伤病员，是其给国际人道法带来的最重要挑战。
比例原则(principleofproportionality)(也称成比例原则)是国际人道法有关敌对行为的另外一项基本原则，它要求在对军事目标进行攻击时应最大限度地减少对平民和民用物体造成的附带损害，对平民和民用物体造成的附带损害不应超过在军事行动中所要达到的具体的、直接的军事利益。根据比例原则，如果攻击行动的预期目标和直接军事利益可能会造成对平民的过分伤害或者对民用物体的过分损害，那么攻击应当被禁止。禁止不成比例的攻击，源自1977年《第一附加议定书》第51条“对平民的报复”第5款第3项。根据该条款，“可能附带使平民生命受损失、平民受伤害、平民物体受损害、或三种情形均有而且与预期的具体和直接军事利益相比损害过分的攻击”，应被视为“不分青红皂白的攻击”，从而受到禁止。对于人类来说，在军事利益和附带的平民伤害作出选择和决定，已经是一项非常困难的事情，因为这并非仅仅涉及人员和财产损失的数量计算，往往还涉及到非常严肃的伦理问题，而人工智能武器的出现，使这问题变得更为复杂。
人工智能武器遵守交战规则的能力取决于三个方面：一是人工智能武器自身的识别能力；二是人工智能武器所承担的任务类型；三是人类操作员对人工智能武器的监督水平。识别能力是人工智能武器能否遵守交战规则的基础。识别能力不仅涉及人工智能系统的输入端，而且涉及对输入的各种数据的处理能力，包括了大量的硬件和软件技术。人工智能输入数据的方式不仅包括手工输入数字和文字数据，而且还可以通过视觉或者听觉传感器，像人类那样“看到”或者“听到”图像或者声音，甚至还可以通过电磁波、红外线、紫外线、激光等光学技术和超声波、次声波等声学技术，收集人类“看不到”或者“听不到”的图像或者声音，从而在感知能力方面能够大大地超过人类。但是，困难的是对这些图像和声音数据进行处理的能力。
人工智能可以不费吹灰之力地计算出人类可能需要耗费一生来计算的天文数字，但是一些对于人类来说极为简单的任务(例如，区分一只海龟和一枝来复枪)，对于人工智能却可能非常困难。[15]而且，人工智能很容易受到欺骗，例如，实验表明喷涂了黄黑相间条纹的装甲车极易被识别为一辆校车。对于当前的人工智能武器来说，它也许能够区分一架波音737民航客机和一枚洲际导弹，但是，尚且无法区别混在一起的战斗员和平民，更不用说区分有作战能力的战斗员和失去作战能力的伤病员。
在这种背景下，显然应当限制人工智能武器的任务类型，减少人工智能武器发生错误攻击的可能性。正如我们上文中提到那样，现有的人工智能武器主要是防御性的和反物质的，而且主要用于打击海洋、空中和非居民区的目标。更重要的是，必须由人类操作员对人工智能武器进行监督。在有关自主武器系统的国际会议上，代表们普遍同意不论是出于法律、伦理还是政策的原因，都应当由人类对人工智能武器的关键功能继续保持有意义的(meaningful)、适当的和有效的控制。[16]由人类对收集到的各种图文资料进行分析、判断和衡量，并且作出是否发动攻击的最后决定。
由人类对人工智能武器进行“有意义的”控制，不仅能够更好地保障其遵守国际人道法规范，而且还可以在某种程度上舒缓人们对人工智能武器的另一个担忧：它的出现是否会成为对违反国际人道法的行为进行问责的障碍？不论人工智能武器的智能化程度如何，它仍然只是一台机器，把国际罪行归责于一台机器是没有意义的；而人工智能武器自主性无疑将会成为人类操作员推脱罪责的便利借口。
五、人工智能武器可能成为追究违法责任的障碍
很多对人工智能武器的担忧是关于战争罪行的归责问题的。考察二战后的国际刑事司法实践就会发现，各种国际刑事法庭和法院均要求构成一项战争罪行，应当具备特定的主客观要件，这不仅是罪刑法定等刑法基本原则的要求，而且也是保护被告人的基本人权的需要。而被告人主观上的犯罪意图是必不可少的构成要件。以国际刑事法院为例，1998年《国际刑事法院罗马规约》第8条“战争罪”规定了战争罪的客观要件，[17]同时，该规约第30条“心理要件”第1款规定“……只有当某人在故意和明知的情况下实施犯罪的物质要件，该人才对本法院管辖权内的犯罪负刑事责任，并受到处罚。”
在国际法上，追究战争罪犯的国际责任本来就是一个复杂的问题，现在这个问题因为人工智能武器的出现而变得更为困难。在发生人工智能武器严重违反国际人道法(例如，杀害已经投降的战俘，或者不分青红皂白地攻击平民)的事件时，除了会继续像传统武装冲突那样，涉及到战斗员(人类操作员)及其上级指挥官，还将会涉及到人工智能武器的设计者、生产商和销售商，当然，取得并部署人工智能武器的国家自身也将会承担责任。
我们先来看可能出现的国家责任问题。这个问题相对简单，因为国家的国际责任不包括刑事责任，国际法对国家责任构成要求不包括心理要素。根据2001年联合国国际法委员会二读通过的《国家责任条款草案》，一国国际不法行为的要素包括两个方面：一是由作为或不作为构成的行为依国际法归因于该国；二是该行为构成对该国国际义务的违反。[18]这两个要素都是客观性的或者物质性的。有关国家在其部署或者控制下的人工智能武器发生违反国际人道法的情形时，应当承担相应的国际责任，对受害者予以赔偿(reparation)，包括经济补偿(compensation)。在这个意义上，国家责任法甚至比国际刑法更为有效，因为国际刑法几乎不能为受害者提供任何经济方面的救济。
把设计者、生产商和经销商纳入责任名单，在很大程度上是因为他们非常容易成为人工智能武器的实际操作者推脱责任的“背锅侠”。在发生严重违反交战规则的情况时，指责人工智能武器存在设计缺陷，或者因质量问题而发生故障是非常便利的。但是，一旦把设计者、生产商和供应商牵扯进来，将会产生几乎难以克服的实体或程序上的法律困难。例如，一个具体的设计人员(比如程序员)可能只负责研发某个很小部分的程序，而且他研发这个程序时很可能并不知道将会被应用于军事目的，因此几乎不可能证明他对将来发生的违法情形具有“故意和明知”的主观犯罪意图。生产商和供应商的角色更为全面和综合，它或许将会承担国内法上的产品责任或者公司刑事责任，但是，国际人道法或者国际刑法并未包括任何有关公司的国际责任问题的规范。而且，如果责任过于分散，那么将可能失去实际效果。英谚有云：“如果所有人都有责任，那么就没有人承担责任”(Ifeveryoneisresponsible,nooneisresponsible)。因此，最可能承担责任的还应当是人工智能武器的操作人员及其上级指挥官。
这里强调指挥官的责任，是因为在人工智能武器作战的场合下，指挥链甚至比通常人类战士位于战场的情景更短。指挥官和操作人员之间有便利的通讯工具，甚至可以坐在一个房间内，共同作出一项决策。正常情况下，人类应当对其决策承担责任，但是在人工智能的场合，只要其存在某种程度的自主性，不论这种自主性是高是低，都可能会或多或少地影响行为结果的可预测性，从而给证明被告人的主观故意或者过失带来障碍。
正如我们上文中说过的那样，因为人工智能武器的自主性而对其予以惩罚是毫无意义的，因为它们只是机器。当前问题的关键是如何填补人工智能武器所带来的可归责性上的空隙。这种可归责性上的空隙在立法和实践中都可能存在。这是因为国际社会在起草当前所有重要的国际人道法条约的时候，不可能考虑到人工智能武器的情况，人类操作员很容易利用人工智能武器的自主性、设计缺陷、软硬件故障等理由作为借口，摆脱战争罪行的指控；而法官或者社会公众则很可能对人工智能武器的操作员予以更多的同情，因为与实际深入战场的传统的战斗员相比，这些坐在空调房里的操作员似乎“手上没有沾满鲜血”。
综上所述，人工智能武器的确给国际人道法的实施带来了新的困难。正如我们上文所说的那样，在当前的技术水平和法律状况下，继续由人类对人工智能武器进行“有意义的”(meaningful)控制，是解决有关问题的一个重要方式。但是，在当前人工智能技术飞速发展，人工智能武器的自主性必将继续提高的大背景下，如何实现“有意义的”人类控制，是一个各国在研发人工智能武器时应当优先考虑的问题。这个问题不可能有一个千篇一律的答案，而只能寄希望于各国在研发和部署人工智能武器时，严格依照国际人道法进行审查。
六、人工智能武器的研发应当受到国际人道法的限制
在刚刚过去的十年间，世界各国目睹了人工智能和武装无人机所取得的巨大进步，这些新技术已经在很大程度上改变了战争的形态；人们有理由相信如果不加限制，具有超级智能的杀戮机器迟早将会诞生。一方面，处于伦理上的考虑，人们认为授予机器在战斗中决定谁生谁死的权力是不可接受的；另一方面，出于技术安全的角度考虑，人们认为人工智能武器存在着发生故障、失灵的可能性，可能会导致不可预测的后果；一些人甚至担忧人工智能武器产生自我意识，危及人类的生存和延续。
反对和担忧的声音形成了一种压力和动力，推动了国际社会对人工智能武器的研究和讨论。尤其是一些非政府组织和学者个人，一直试图推动各国限制未来人工智能武器的发展，确保人类未来始终在在关键功能上保持对这种新武器的控制，尤其是禁止研发、取得、部署和使用完全自主的致命性武器系统，并且希望各国切实履行国际人道法中有关新武器的条款，建立国内法律审查机制，同时能够起草和制定有关国际条约，从国际法的层面上对人工智能武器的发展进行规范和限制。
(一)建立和完善新武器的国内法律审查机制
1977年《第一附加议定书》第36条要求每一缔约国在研究、发展、取得或采用的任何新的武器、作战手段和方法时，判定该新的武器、作战手段或方法的使用，是否在某些或所有情况下为国际法所禁止。根据红十字国际委员会《附加议定书评注》的意见，该第36条“隐含了为阐明合法性问题而确立内部程序的义务，而且其它缔约方可要求获得关于此方面的信息”。[19]1977年《第一附加议定书》第82条对第36条进行了补充，该条款要求无论何时均有法律顾问“对各公约和本议定书的适用以及就此问题发给武装部队的适当指示”，向军事指挥官提供意见。上述两个条款是各国建立法律审查机制的国际法依据，从而确保其武装部队能够以严格符合国际人道法的方式从事敌对行动。
(二)在《常规武器公约》项下起草有关人工智能武器的新议定书
七、结论
人工智能技术在军事领域的应用，是一个不可阻挡的趋势。今天已经有一些武器或者武器系统在选择和攻击目标等关键功能上具备了一定程度的自主性，但是，总的来说它们仍然只被用于有限的任务类型和环境。随着人工智能技术的飞速发展，未来人工智能武器必然在更多功能上拥有更高的自主性，并且将会部署在更为复杂的环境，以及承担更为多样化的任务。人们对人工智能武器的担忧有多少将会被证明是杞人忧天，而又有多少是真知灼见，我们现在无法知道。但是，从国际人道法的角度，审视人工智能武器可能带来的新的挑战，无疑是十分必要的，而且，实际上也正是红十字国际委员会最早提醒各国慎重对待研发和部署人工智能武器可能带来的各种根本性的法律、伦理和社会问题。[29]从国际人道法的角度来看，主要是两个方面的挑战：一是武器系统选择和攻击目标能否尊重国际人道法规则？二是如果武器系统的使用明显违反国际人道法，能否归责于个人或国家，并追究他们的责任？
人工智能武器对国际人道法的第一个挑战触及到了国际人道法中的交战规则。国际人道法中的交战规则(主要指区分原则和比例原则)是用来拘束人类行为的，因此任何人类战斗员均有遵守的义务；人工智能武器仍然只是机器，机器虽然无法适用法律，但是也必须能够按照人类的法律判断来进行操作。未来必须保持人工智能武器的可预测性，如果无法合理预测某种武器系统将会遵守国际人道法，那这种武器系统就可能是“非法的”。人工智能武器对国际人道法的另一个重要挑战是它在选择和攻击目标等关键功能上的自主性，可能会使得证明实际操作人员或者指挥官的主观故意变得非常困难；而且，人工智能武器的设计缺陷、软件或者硬件的故障，同样可以成为责任人推脱罪责的借口。
当前，红十字国际委员会和《常规武器公约》缔约国会议组织召开的一系列国际会议，已经对人工智能武器问题进行了较为深入和全面的讨论，也已经取得了一些基本的共识：必须对武器和武力使用进行“有意义的”、“恰当的”和“有效的”人类控制，但是从法律、伦理和政治角度来看，所需的控制类型和程度尚不明确。对此，红十字国际委员会呼吁各缔约国为武器系统的自主性设定限制，以确保其使用符合国际人道法的规定，并在人道原则和公众良心要求所能接受的范围内进行。[30]在当前的情况下，各国应当响应红十字国际委员会的建议，履行条约义务，建立有关新武器的国内法律审查机制；同时推动起草和制定有关人工智能武器的国际条约，从国内法和国际法两个层面，共同确保任何此类武器都必须能够遵守国际人道法中关于敌对行动的规则。
【注释】
[2]1907年海牙《陆战法规和惯例规章》第22条最早规定了这项原则，1977年《1949年8月12日日内瓦第四公约关于保护国际性武装冲突受难者的附加议定书》(《第一附加议定书》)第35条第1款对此亦有规定。
[3]参见1977年《1949年8月12日日内瓦第四公约关于保护国际性武装冲突受难者的附加议定书》(《第一附加议定书》)第36条。
[4]StuartRussell,PeterNorvig,ArtificialIntelligence:AModernApproach，清华大学出版社2011年版(影印版)，pp.1-2.
[6]id,p.5.
[8]id.
[10]id.，p.45.
[14]LegalityoftheThreatorUseofNuclearWeapons,AdvisoryOpinion,1.C.J.Reports1996，p.257.
[17]参见《国际刑事法院罗马规约》第8条。
[18]SeeTheInternationalLawCommission’sDraftArticlesonResponsibilityofStatesforInternationalWrongfulActs,OfficialRecordsoftheGeneralAssembly,Fifty-sixthSession,SupplementNo.10(A/56/10)，art.2.
[19]Y.Sandoz,C.Swinarski,B.Zimmerman(eds)，CommentaryontheAdditionalProtocolsof8June1977toGenevaConventionsof12August1949，ICRC,Geneva,1987，para.1470&1482.
[23]UKMinistryofDefence(2013)WrittenEvidencefromtheMinistryofDefencesubmittedtotheHouseofCommonsDefenceCommitteeinquiry‘RemoteControl:RemotelyPilotedAirSystems-currentandfutureUKuse’，September2013，p3.
[26]MeetingoftheHighContractingPartiestoCCW,FinalReport,CCW/MSP/2013/10，16Dec.2013，para.32.
[29]ICRC(2011)InternationalHumanitarianLawandthechallengesofcontemporaryarmedconflicts.Reportforthe31stInternationalConferenceoftheRedCrossandRedCrescent,Geneva,28Novemberto1December2011.
作者：中国社会科学院国际法研究所助理研究员，法学博士。