北京理工大学珠海学院民商法学院教授
要目
一、前言
二、伦理规范的理论基础
三、人工智能的伦理规范
四、建立伦理监督委员会
结论与建议
2019年5月25日北京智源人工智能研究院联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所等单位，共同发布《人工智能北京共识》，提出人工智能的研发、使用、治理应该遵循有益于人类命运共同体建构和社会发展的15条原则。
以自动驾驶车辆的伦理规范设定为例，若以符合全体社会成员最大利益为原则，则会采取强制的伦理设定（mandatoryethicssetting，简称MES），而排除让每一个司机或乘客都选择个人化的伦理设定（personalethicssetting，简称PES），由于自动车驾驶涉及公共利益，片面尊重工具使用者的自主权，基于人类自利的本质，很可能导致公共安全与道德的双重危险，基于社会共同体的责任与价值利益考虑，强制伦理设定是比较妥适的作法。但是在具体设定算法时，如何避免算法偏见和歧视？若以功利主义为算法基础，为了拯救多数人，仅载有一名乘客的车辆有很大几率会成为事故撞击的目标；若采取最小化伤害原则的道德算法，德国制的自动驾驶车辆是否可能选择日本车为撞击对象，因为一般而言，日本车的防护钢板较薄弱，如何决定类似的伦理规范显然值得讨论。
2018年世界人工智能大会发布的“上海倡议”提出建立与人工智能创新发展相适应的立法规范、法律体系、政策体系和伦理体系，制定技术设定阶段的法律规范，通过规则设定促进人工智能算法的公正、透明、安全，避免算法歧视，2019年中国国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则—发展负责任的人工智能》特别强调此理念。人工智能的伦理规范非常重要，主要包括为智能机器人预设道德准则、设定人工智能技术研发及应用标准，建立人工智能产品本身的道德指引，以及规制科研人员的伦理规范。科学技术要解决的是“能不能”的实然问题，伦理学要解决的是“该不该”的应然问题，人工智能不仅是单纯的技术问题，也是哲学问题。以下提出几种典型案例的思考方式，部分案例来自1985年美国教授JJ.Thomson提出的电车难题（TheTrolleyProblem）：
典型案例：
案例1：电车难题
假设某辆电车沿着既定路线前行，电车突然发生故障而无法操控，如果电车继续前行会碾毙在既定路线上工作的五位作业员，此时刚好有一位作业员A站立于轨道分转器旁边，目击了现场状况，A如果使用轨道分转器切换路线，可以让电车转入另一条轨道而拯救五位作业员的性命，然而在切换后的轨道上有一位作业员B正在工作，轨道切换后电车会将B碾毙，试问A是否应该作出转换轨道的决定。不选择转换轨道将导致五位作业员死亡，选择转换轨道会导致作业员B死亡，A如果选择后者，法律上是否可以主张紧急避险。
案例2：陆桥上的胖子
突然失去控制的电车持续前行，如果继续前行会碾毙在既定路线上工作的五位作业员，A与完全不知情的C正好走在陆桥上，C体型非常肥胖，如果A突然将C推落桥下，以C作为障碍物则刚好可以让电车停止（题目设定为牺牲C一定会使电车停止），因而救助五位作业员的性命。A是否应该推C下桥？
案例3：自动驾驶车辆的情况
在深不可测的溪谷上有一条非常狭窄细长的陆桥（只能单线双向通行），A搭乘自动驾驶车辆（A并未操作车辆）正在桥上行进，对向开来一辆大巴士（有乘客40人），大巴司机突然失去意识导致该车越过车道线，直接冲向搭乘A的自动驾驶车辆，此时如果A的车辆加速前进稍微擦撞大巴车的侧边，可以保护A的安全，但是大巴车会掉落山谷，车上40人均会死亡；如果A的车辆不加速，直接与大巴士正面相撞，则A死亡，大巴士不会掉落山谷，车上乘客均会获救，A所搭乘的自动驾驶车辆应该加速，还是不应该加速？
案例4：社会评价体系下的自动驾驶车辆
甲为大学教授，具有名校毕业的博士学位，认真工作，乐善好施、义务担任社会服务工作，服务人群曾受政府表扬，人工智能系统赋予的社会评价分数为95分；乙未接受良好教育，无业而四处游荡，曾因盗窃罪在监狱服刑，人工智能系统给予的社会评价分数是20分，某日乙不遵守十字路口交通标志，违规闯红灯穿越马路，甲所搭乘的自动驾驶汽车正准备通过该路口，此时因不明原因汽车刹车失灵，汽车正迅速向乙接近，人工智能系统立即作出判断，无论直接撞击乙或右转撞击路树都可以使车停下来，此时人工智能作出何种选择会符合正义的要求？
伦理规范的哲学理论与案例思考
伦理规范是划定个人行为与社会组织界限的一种方法，西方社会有两种主要的道德理论，一是边沁的功利主义理论，利益最大化作为道德标准，在以效用主义为基础的博弈论在人工智能中经常被用于理解个体与群体的相互作用，为算法的伦理分析提供基础。二是康德的义务道德论，道德动机是人类行为的准则，理性且具有自由意志的人是道德主体，能作出最终决策，人本身就是目的，任何人都不能将他人作为工具，或达成特定目的的方法或手段。问题在于此种绝对律令的观点，如何转换为人工智能的正确规则。温德尔·瓦拉赫、科林·艾伦认为机器人可以根据人类的普遍道德法则作出是非判断，具有理性能力。康德认为自主性是人类自我意识的根本条件，如果机器人可以超越人类控制，这种自主技术性的概念会令人感到不安，因为赋予人工智能自主性，代表人的自主性被替代，主客体的地位将发生变化。可能的解决方法是在人工智能设计之始，将一些伦理规则作为绝对律令，以代码的方式写入人工智能的程序中，例如机器绝对不能攻击人类，特别是老弱妇孺，植入规范性伦理程序就是康德道德律令的代表。
人工智能道德伦理的责任议题，包括人权伦理、责任伦理、道德地位伦理、代际理论、环境理论以及大数据伦理与隐私，以联合国宣言为基础，有人认为应将人类责任与机器人责任伦理的标准同等对待，主要包括正义与团结、相互尊重与合作、信任与容忍、基本人性准则等。建立在亚里士多德道德观念上的人工智能道德理念，是自下而上的理论体系，机器可以自主学习，而具有类似神经网络链接机制的机器人就有可能具备道德判断能力。
如果采取边沁的功利主义，应当追求“最大多数人的最大幸福”，案例1及案例2都会作出拯救5人的生命利益大于牺牲1人的生命利益的决定。案例3自动驾驶车辆不加速与大巴士直接相撞，才能拯救车上40位乘客的生命，A的生存机会势必被选择放弃，人工智能设计师必须预先设定“牺牲自驾车乘客”的程序模式，在这种情况下，是否还有人选择使用自动驾驶车辆？如果采取康德的道义责任论，无论在任何情况下，人的生命都不可以因为特定目的而被利用，则案例1及案例2都会作出不救助5个作业员的决定，因为生命的价值没有数量或高低的区别。在案例3的情况由于生命价值相等，自动车加速与否都会造成生命损失，程序设计师是否应该优先考虑使用者的安全，保护使用者（消费者）安全是否为产品制造或设计者的法律义务？
其次，针对案例4，若采取功利主义，AI的设计者应该会选择让汽车直接撞击乙，因为甲的社会评价分数90分远高于乙的20分；如果采取康德的道义责任论，人始终是目的，而不能成为达成特定目的的方法或手段，所以不能把人单纯当作客体对待，由于每一个人的生命价值相同，AI的设计者应当会让汽车右转撞树而导致甲死亡或受伤。由上可知，AI对于甲、乙生死的决定取决于工程师对于算法的设计。无论AI选择直接撞击或转向都会导致对人工智能数理逻辑算法的疑虑，直接撞击会造成阶级对立，加剧社会精英与普通民众的紧张关系；转向则会使无人驾驶汽车失去用户，因为每一次驾驶都类似俄罗斯赌盘，搭乘者可能会因突发事件而被牺牲，个人没有过错却必须成为被选择牺牲的对象。
案例3及案例4的自动驾驶车辆程序设计者必须面对一项难题，应当对人工智能输入何种价值选择标准，在更复杂的情形下，例如一方车辆的乘客只有5年的余命，另一方乘客有20年的余命，哪一辆车的安全应当优先考虑（事实设定为两辆车可以自动交换乘客信息）？又如果两车乘客的余命完全相同时，一方是高额纳税人，另一方是欠税大户，自动驾驶车辆的程序参数（parameter）又应该如何设计？
另一种观点认为，根据哲学上的双重效果原则（Doctrineofdoubleeffect），行为人虽然应该对于自己意图决定所产生的损害结果负责，但即使发生损害且能预见结果的发生，若损害不是根据有害意图的行动所造成，就不应该追究行为人的责任（前提是此行为是人道的、或至少是道德中立的、或不会为自己带来直接利益）。案例1中A转动换轨器时虽然预见B的死亡，但A的意图是为了拯救5个作业员的生命，因此B的死亡只是附随发生的结果；案例2中A的直接意图是将C推落桥下，C的死亡附随产生救助5名作业员的结果，根据双重效果原则，案例1可以被正当化，但案例2则不能被正当化。
人工智能的伦理规范必须保留人类的基本价值观。一般而言，人工智能采取的是工具理性表现方式，人类行为则具有价值理性的思维，将此种价值理性转化为精确的算法设计十分困难，而且不同的文化习俗、宗教信仰、社会公德自有不同的价值判断标准，人工智能面对价值体系如何选定价值体系，其本身虽是一个难点，但是在算法中嵌入公平、正义、良善等价值观的追求应该是正确的方向。具体的方法是将人的道德理性融入算法程序，研发“道德代码”以明确人工智能的道德主体责任，道德代码指程序员除了按科学方式编码外，同时在代码中融入道德感情，使编码在执行程序时具有道德价值判断功能，亦即编码本身应具备道德功能。人工智能的道德属性源于人类自身的道德认识，这种道德属性需要专家的技术设计，所以健全程序设计者的伦理体系与道德观是根本的问题。
域外的人工智能伦理规范
1.欧洲
欧洲议会的法务委员会（JURLCommittee）于2015年1月召开关于机器人与AI进化的法律问题工作会议，同时设立专责工作小组，该委员会于2017年1月提出“关于机器人民事法规则的欧洲委员会建议”报告，认为欧洲应该设置管理机器人与伦理规则的专责机构并建立适用于欧洲全境的管理规则，长期而言，未来对于自律型的机器人可以讨论赋予电子人格的可能性。本报告提出广泛受到重视的五项伦理原则，内容包括自由、隐私、人性尊严、自己决定权等，对于机器人运用所造成的影响实施评估；人们拒绝使用人工智能，但仍会因人工智能对生活产生实质影响时，应当对于人工智能决策的各种可能性，寻求理论依据；AI的算法必须能还原为人类可以理解的型态或方式；强人工智能的逻辑程序决定程序，必须全程予以记录备案，不能存有黑箱的现象，确保“透明性原则”的落实。同时在附录部分（Annex），提出对人工智能工程师的伦理行为准则（CodeofEthicalConductforRoboticsEngineers），这个准则属于建议、指导的性质，没有强制性，对于人工智能工程师的具体行动方针包括
（1）善行（Beneficence）：人工智能的行为必须符合人类利益。
（2）无害（Non-maleficence）：无论在任何情况下，机器人都不能伤害人类。
（3）自主性（Autonomy）：使用机器人所提供的人类信息，不能以强制方式取得，必须根据人类的自由意志作成决定。
（4）正义（Justice）：特别是居家治疗，使用照护式机器人时应当给予公正的利益分配。
2017年6月德国交通部伦理委员会公布《自动和联网驾驶》报告，提出自动车驾驶的20条伦理规则，其核心内容包括保护个人优先于其他一切功利主义的考虑；当危险情况不能避免时，保护人类生命优先于其他法律利益，为了避免人员伤亡，在编程上允许对给动物或者财产造成损害；道德困境下的决策依赖于现实的具体情况，无法清楚地给予明确标准；处于无法避免事故发生的境况下，禁止以年龄、性别、生理或心理状况等人身特征进行歧视性决策，不得牺牲无关的他人。2016年4月德国政府通过法律，将“驾驶员”定义扩大到能够完全控制车辆的自动人工智能系统，同时提高无人驾驶的保险费与赔偿费。
为了避免算法歧视，我们应当有合理的AI设计，可以将人类社会的法律、道德等规范和价值嵌入AI系统，根据国际标准化组织IEEE提议，首先是规范和价值的发现，确定AI系统应当遵守哪些规范，在价值相互冲突时又应该如何抉择；其次是法律或道德规范能否转换为计算器代码写入AI系统，采取方法是自上而下地将规则写入系统，要求人工智能遵守规则，还是自下而上由机器自我学习价值与伦理规则，目前尚无定论；最后是对人工智能采取的价值和规范进行评估，从三方面加以评估，包括使用者评估、主管部门评估和行业组织评估。
2.日本
3.美国
4.民间组织
（1）电器和电子工程师协会IEEE（TheInstituteofElectricalandElectronicsEngineers）
（2）人工智能百年研究（OneHundredYearStudyonArtificialIntelligence）
该组织由斯坦福大学毕业生所创立，以今后100年AI长期发展为研究目标，判断人工智能对于社会有何种影响，每五年提出观察、分析报告的一项研究计划，其成果是2016年9月发表的《ArtificialIn-telligenceandLifein2030》研究报告，报告分为交通、居家服务机器人、健康照护、教育、低资源消耗共同体的实现、公共安全和保障、职场与雇用、娱乐等8个部分，从长期展望加以分析，特别是交通部分的自动驾驶汽车、无人机运用部分有较多的描述，在法政策方面则主要讨论隐私权、创新政策、民事责任、刑事责任、代理、资格、劳动、税、政治等问题。
（3）人工智能合作组织（PartnershiponArtificialIntelligencetoBenefitPeopleandSociety,Partner-shiponAI）
PartnershiponAI是2016年9月由Amazon、Google、DeepMind（Google）、Facebook、IBM、Microsoft等成员所设立，2017年Apple、OpenAI等新成员加入，日本Sony也希望加入，这是一个发展人工智能的世界企业联合组织。该组织提出主题支柱（ThematicPillars）重点有：①重视AI安全性（Safty-CriticalAI）；②公平、透明而具可说明能性的AI（Fair,Transparent,andAccountable）；③人们与AI系统的协调（Collab-orationBetweenPeopleandAISystems）；④AI、劳动与经济（AILaborandtheEconomy）；⑤AI社会的影响（SocialandSocietalInfluencesofAI）；⑥AI和社会利益（AIandSocialGood）；⑦特别提议（SpecialInitiatives）。针对AI研究与技术的信赖、国际习惯和尊重人权、说明可能性等重要问题，该组织提出8大信条（Tenets）供各界参考。
（4）生命未来研究机构（FutureLifeInstitute）
该组织简称FLI，2015年由Skype共同创始人JaanTallinn等人所创设，该组织的咨询委员会由太空探索技术公司SpaceX社的埃隆·马斯克（ElonMusk）、宇宙物理学家史蒂芬·霍金（StephenHawking）、演员摩根·费理曼（MorganFreeman）等14位人士组成。2017年1月在美国加州阿西洛马（Asilomar）以“人工智能对人类有何利益”为主题，同年2月公开发表阿西洛马AI原则（AsilomarAIPrinciples），该原则有23条，其中与伦理价值观有关的课题，整理如下：
为处理人工智能伦理问题，德国成立数据伦理委员会，个别企业也设立道德指引的规则，鉴于人工智能使用数字化的风险，由国家制定法律作为规范固然重要。但企业自主规制与建立伦理委员会也是不可欠缺的机制，欧盟委员会欧洲科学与新技术伦理小组，提出尊重人性、自主性等伦理清单。本文介绍日本人工智能的伦理监督委员会，以供参考。
日本人工智能学会成立于1986年，学会的伦理委员会设立于2014年。2017年2月学会公布《人工智能学会伦理指针》，整理其具体内容提供参考：
探讨人工智能道德理论的法律论文数量很多，但能提出具体解决方案的有限，甚至有人认为人工智能设计者、使用者或法律规定的道德选择不在其讨论机器人道德范围内。本文认为这是一个必须面对的难题，根据“理论—规则”驱动进路，将特定群体认可的价值观和道德标准程序化为道德代码，嵌入智能系统，内置道德决策场景的指导性抉择标准。理论上伊曼纽尔·康德（ImmanuelKant）的道义论、约翰·密尔（JohnMill）的功利主义和约翰·罗尔斯（JohnRawls）的正义论都可以成为参考选项。
人类自由意志的问题，在哲学上争论甚久，波蓝尼悖论（Polany’sParadox）认为，“我们知道的可能比我们能说出来的更多，如同司机的技能不可能完全用驾校的驾驶汽车理论来替代”。人工智能以海量数据信息为基础，可以按照既定算法进行预测，但人类拥有自由意志，在面对突发状况时也许会采取出人意料的决策，因为人类大脑掌握的能力高于既定的知识，可以说人类的思维存在着某种不确定的点，人们不是按照既定程序做决策，而是根据自由意志下判断。否定人类有自由意志的观点则认为人类的所有感受没有所谓“自由意志”，一切只是哺乳动物及鸟类拥有的生化机制，用来快速运算生存和繁殖的几率，直观的感受其实只是一套生化演算的结果。无论采取自由意志或生化演算的观点，人工智能的设计者都应当在算法设计阶段做好价值嵌入的程序，融入包括绿色、伦理、守法、自由、关爱在内的“共同善”的价值。
2017年7月8日国务院制定的《新一代人工智能发展规划》强调采取三步走的战略目标：到2020年，部分领域的人工智能伦理规范和政策法规初步建立；到2025年，初步建立人工智能法律规范、伦理规范和政策体系；2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。在技术层面，国家标准化管理委员会于2018年1月成立国家人工智能标准化总体组，已发布《人工智能伦理风险分析报告》，目前正研究人工智能术语、人工智能伦理风险评估等标准。2019年我国亦发布《人工智能北京共识》《新一代人工智能管理原则》等重要文件，本文建议持续参考国内外伦理规范资料，设计政府部门的全国性监管方式、制定人工智能道德准则、成立各级人工智能伦理委员会，从而使得我国的人工智能规范更加完善。