AnupamChander，UniversityofCalifornia,DavisSchoolofLaw，2017
本论文是基于对美国马里兰大学法律教授弗兰克·帕斯奎尔（FrankPasquale）《黑匣子社会：控制金钱和信息的秘密算法》（TheBlackBoxSociety:TheSecretAlgorithmsThatControlMoneyandInformation）这本书探讨展开的。Pasquale在书中探讨了企业（特别是金融和科技巨头）滥用隐秘性的算法谋取利益的行为。认为要保护数据，正确利用数据就要加强收集数据的透明度。作者认为帕斯奎尔的核心主张是，算法将掩盖令人憎恶的歧视，破坏民主，加剧不平等。
作者认为，算法本身是没有选择性的。算法虽然是晦涩和神秘的，但通常不会比它们所代表的的委员会或个人更神秘。最终的黑盒子是人类的大脑。作者认为有意设计的算法歧视发生的概率比人类决策中有意或无意的种族歧视或性别歧视的要低。算法歧视核心问题是：在一个充斥着歧视效应的世界里训练或操作的算法很可能会重现这种歧视——算法歧视是被人类决策感染的病毒（Virus）歧视。作者认为透明度无法解决这一问题，即使是透明的、表面中立的算法-算法-仍然可以产生歧视性的结果。需要的是输入和结果数据的透明度。解决这个问题的办法在于一种基于算法的平权行动。这需要对包含不同社区的数据进行训练算法，并持续对差别性影响评估。这将要求决策者要正视种族和性别歧视，以一种种族和性别意识的方式进行算法设计和评估，而不是坚持种族或性别中立和或者无视性别或者种族歧视。
因此，作者在论文中指出：“我的中心观点是:如果我们相信，现实世界中的事实(算法是在这些事实的基础上进行训练和操作的)被恶毒的歧视深深浸透了，那么我们对种族主义或性别的算法的解决方案就是算法平权行动。因此，问题不在于黑盒，黑盒通常比它所取代的人类决策者更加中立，而在于它运行的真实世界。我们必须为一个充斥着歧视过去和歧视现实的世界设计我们的算法。”
论文：第一部分回顾了Pasquale的观点：黑箱社会将增加歧视性操纵。它认为，与Pasquale的观点相反，法律并没有将算法视为可能增加故意歧视，而是将算法用于减少人类决策者不受约束的自由裁量权带来的讨厌的歧视。通过量刑指南的例子，说明法律倾向于高度明确的算法决策，以减少自由裁量的人类判决的歧视结果。第二部分认为，由于算法在现实世界中学习和操作的歧视，歧视仍有可能出现在以种族或性别中立的方式设计的自动算法中。第三部分介绍了对基于种族和性别意识的病毒歧视设计算法的补救措施，以解决数据中存在的歧视问题。
第一部分：AlgorithmicManipulation
算法是否加剧社会上现有的歧视
作者的答案是否定的。理由是：第一，无意识或潜意识的歧视在计算机编程中比在人类决策中更不容易表现出来。2015年，最高法院承认“无意识偏见”可以激发歧视。与决策过程相比，编程需要一步一步的书写过程，它依赖于对所追求内容的有意识理解。程序员不仅必须非常精确地指导计算机，而且现代编程实践也要求程序员记录(或注释)程序正在做什么。由于一种编程过程需要写出明确的指令和记录特定代码的行为，无意识或潜意识的歧视在计算机编程中比在人类决策中更不容易表现出来。第二，即使对于那些有歧视倾向的程序员或公司来说，编码本身的过程可能会导致程序员回避实际编码的歧视。即使没有通过诉讼强制披露，一种硬编码的歧视也有可能被黑客或厌恶歧视的内部人士揭露。此外，由于代码编写可能涉及程序共享代码的团队，以及不同的人审阅和调试代码。有意识地进行编码歧视可能需要获得多人的合作，这可能是一项令人担忧的任务。
联邦量刑指南的历史回顾
作者认为，基于算法所确定的量程的量刑并没有结束歧视，并可能使非裔美国罪犯的生活变得更糟。由于减少了人的自由裁量权，量刑指南使少数人的处境变得更糟，因为他们的个人情况无法得到适当的考虑。一个案例中，一个面临6年刑期的人质疑量刑法官使用一种名为“COMPAS”的算法工具，他认为该算法基于群体数据，算法考虑了性别因素，而且算法的知识产权保密性使他无法质疑算法的有效性。.威斯康星州最高法院支持在非常限定的范围内使用该算法，认为“考虑在量刑时进行COMPAS风险评估以及其他支持因素有助于向量刑法庭提供尽可能多的信息，以达到个别化的判决。关于性别问题，法院的结论是，“COMPAS使用性别有助于提高准确性，最终有利于包括被告在内的司法系统。”但一项公共舆论调查对COMPAS提出质疑，认为它“有可能将黑人被告错误地标记为未来的罪犯，错误地将他们贴上白人被告几乎两倍的标签”。
作者指出Pasquale的担忧似乎与量刑指南的采用有关，新算法的制定本身可能解决了法官潜意识中存在偏见的一些问题，但也创造了其他问题，可能对少数群体产生全面的负面影响。
Pasquale对算法的转向提出了另一个关键的问题，当算法取代人类的决策时，算法会给决策带来“必然性的一种模式”，甚至是公平性的一种模式。算法可以使决策看起来更公平，因为计算机是逻辑实体，不应该被人为的偏见所感染。但正如我们现在讨论的那样，这将是一个毫无根据的假设。
第二部分：ViralDiscrimination
Figure1.UNWomenAdCampaignUsingGoogle’sAutocompleteFunctionViralDiscrimination
作者接着论述了无意识的算法歧视产生的过程：算法决策中的感染路径——从训练数据和操作数据到算法本身。分类模型是对历史数据进行训练，以预测未知数据样本的类标。”然而，历史数据常常偏向于某些组或对象的类。研究人员SolonBarocas和AndrewSeibst演示了各种机制，通过这些机制，就业中的算法决策可以导致对受保护阶级的不同影响。例如，算法可能会使用表面上中立的数据，但这些数据可能会受制于训练者和操作者的“冗余编码”，即特定类的成员在其他数据中进行编码。
Figure2.RoutesofInfectioninAlgorithmicDecisionmaking
禁用类别的替代属性（Proxies）可以在相对无害的活动中找到，比如web浏览行为。
根据一项使用Facebook“like”进行的研究，我们可以根据一个人在Facebook上的“like”页面来合理准确地预测种族和其他属性。在95%的案例中，非裔美国人和高加索美国人被正确分类；在93%的病例中，男性和女性被正确分类；在82%的案例中，基督徒和穆斯林被正确地分类，民主党和共和党也获得了类似的结果；85%性取向在男性中(88%)比女性(75%)更容易区分。算法将利用替代属性来处理不允许的信息，以合理的精度重构，通过分析可用信息实现。
病毒歧视可能具有人类决策制定者所不具备的有害性质，即捍卫算法作为一种假定的客观决策者的能力。因此，除了故意歧视的问题，自动化算法可能提供了一个更普遍的风险:复制现实世界的不平等。因此，歧视可以通过真实数据进行病毒传播。
第三部分：AlgorithmicAffirmativeAction
平权行动要求：决策者必须考虑种族和性别，以确保结果的公平性。这正是首席大法官约翰罗伯茨(JohnRoberts)认为难以置信的地方:“停止基于种族的歧视的方法是停止基于种族的不定罪。”对产生种族主义或性别歧视结果的算法操纵问题的明显补救措施似乎是强制种族或性别中立。然而，在现实中，尽管中立当然比硬编码的种族主义或性别歧视好，但种族或性别中立实际上会使现有种族主义的算法复制（病毒歧视）问题永久存在。过去，反对平权行动的人设法阻止政府收集关于种族的统计数字，这将使建立错误的歧视更加困难，也使平权行动更加困难。例如，加州提出的“种族隐私倡议”(更准确地说，是“种族盲目性倡议”)将取消政府收集种族信息的权利，从而对该州的少数族裔造成不利影响。
公司可能不愿意明确地考虑他们的决策中受保护的类别，因为他们担心这可能被用来证明他们的意图，或者至少是遵守了任何持续存在的歧视。但是，这种避免和改善歧视的努力应该被认为是无罪的，而不是有罪的。算法平权行动包括什么它首先要认识到即使是表面上中立的算法也可能得到的却别对待的结果。
作者举了一个正面的例子：考虑到非洲裔美国人在出租车上遇到的众所周知的问题，这是一个严重制约流动性的障碍。Uber设计了自己的平台，让司机在司机接受车费后才能看到乘客的照片。优步的平台在司机接受车费之前不会再给司机提供乘客的目的地，从而避免使用重复编码的家庭住址作为比赛的代理。当司机得知乘客的种族或目的地时，他或她可能会取消车费，但每次取消的行程都被视为对司机的负面影响。最终的结果是，一些非裔美国人报告说，用Uber打车比在街上叫出租车更容易。这当然不是解决种族主义问题的万灵药，例如司机所经历的问题。例如，南希·梁(NancyLeong)认为，种族主义可能会在评分系统中重演，导致黑人司机的评分不如白人司机高。
不同影响原则的传统应用中，雇主可以根据统计证据自由地制定平权行动方案，这些证据表明少数民族或妇女的比例低于他们在有关人员中的比例。最近，最高法院已经批准了使用统计数据来支持对不公平住房的索赔。平权行动方法：一是将设法确保用于训练算法的数据要对嵌入病毒歧视进行评估。二是寻找中立第三方审查决策者算法的公平性。
结论：结论：最终的黑盒子是大脑，即使有最新的技术，它仍然是非常不透明的。算法决策并不能让我们摆脱偏见，这是Pasquale最重要的贡献之一。承认自动化系统不是没有偏见的，仅仅因为它们是由逻辑机器执行的。只有人类才能发挥关键的作用，确保当我们的社会关系变得越来越自动化时，支配和歧视不会无形地建立在他们的代码中。
BigData’sDisparateImpactSolonBarocas*&AndrewD.Selbst（2016）
本文讨论了在新兴的产业的数据挖掘过程中可能产生的不同影响。学者和政策制定者们一直专注于数据挖掘隐藏故意歧视的能力；希望说服监管机构开发工具，揭露此类歧视。一些人开始认识到，无意的歧视是一种潜在的危险，甚至可能更令人担忧。承认无意歧视的可能性缺乏技术和理论基础，使政策建议变得困难，因为它们并非简单地指向错误。本文为数据挖掘如何引发歧视以及数据挖掘如何与反歧视法相互作用提供了必要的基础。
数据挖掘（Datamining）可以滋生不公平的模式，这意味着什么当涉及到算法时，什么是非法歧视我们的法律提供什么指导这些都是这篇论文要解决的问题，本文从数据挖掘的技术基础入手，利用该基础分析了数据挖掘背后的政策问题。它的结论是一个清晰而令人不安的信息:“在很大程度上，现有法律无法解决这些问题。”
作者在文中指出：“算法支持者认为，算法消除了决策过程中的人为偏见。但算法的好坏取决于它所处理的数据。数据往往不完美，使得这些算法继承了先前决策者的偏见。在其他情况下，数据可能只是反映了社会上普遍存在的偏见。但如果数据反映了历史偏见，那么数据挖掘将不公平地影响就业、住房、信贷和保险的获取。数据挖掘还可以发现一些非常有用的规律，这些规律实际上只是排除和不平等的预先存在的模式。对数据挖掘的盲目依赖会使历史上处于不利地位和弱势群体无法充分参与社会。由于结果的歧视几乎总是一种无意识的特殊属性，而不是由其编程人员有意识的选择，因此很难找出问题的根源或向法院解释。”
什么是数据挖掘
数据挖掘是在数据中筛选有用的模式和关系的实践。这些模式一旦被发现，通常会被合并到一个“模型”中，用来预测未来的结果。
例如:通过分析数千名员工的工作经历，一台电脑可能会发现一个人的通勤距离与这个人的工作年限之间的密切联系。这种洞察力可能会被纳入招聘模式中，并被雇主用来评估求职者。
数据挖掘如何“出错”
尽管数据挖掘让人联想到复杂的计算机，但作者解释了人类在多个步骤（定义“目标变量”和“类标签”、培训数据、标签示例、数据收集、特征选择、替代项、掩蔽）中引导数据挖掘过程。
每一步都有可能出错:人们必须把现实生活中的问题转化成计算机能理解的问题。数据挖掘算法必须被告知它在寻找什么。这个过程称为“确定目标变量”，可以对数据挖掘过程的执行产生很大的影响。例如:什么算是“好员工”不同的人会用很多不同的方式来定义“好”(例如，一个达到高销售目标的人，或者一个没有污点的纪律性记录的人，或者在工作多年的人)。
看似无害的数据怎么可能成为敏感数据的“替代”（proxy）呢
例如:想象你正在尝试建立一个模型来预测一个人的身高。男人往往比女人高。你的培训数据不包含关于个人性别的信息，但它包含了关于个人职业的信息。数据挖掘过程可能会发现，学龄前教师(超过97%是女性)往往比建筑工人(超过90%是男性)要矮。这种洞察力只是反映了这样一个事实:每一种职业都是性别的可靠“替代”，而性别本身与身高有关。
当数据挖掘有不同的影响时，法律有什么规定
作者得出的结论是，法律“在解决数据挖掘造成的歧视问题上，基本上没有足够的能力”。将分析的重点放在了反歧视法第七章上——禁止基于种族、肤色、宗教、性别和国家起源的就业歧视——因为它明确规定，当一种中立的做法产生不公平的结果时，可以承担“完全不同的影响”责任。简而言之，第七章试图终结历史上的歧视趋势，同时仍允许雇主在招聘时拥有合理的自由裁量权。法律的关键是“商业需要”的辩护，它允许合法的、有用的和准确的雇佣行为，即使这些做法确实有造成区别对待的影响。积极寻求发现和纠正偏见的雇主可能会逃避责任，但法院不能指望使用第三方提供的数据挖掘服务的雇主会这么做;此外，对这一过程的修修补补可能会让雇主面临更多不公平的指控。程序员不能很容易地判断数据中的模式是由于过去有意的歧视造成的，也不能纠正它;删除一些有问题的数据也可以删除有用的信息。
作者的结论是：法律的轮廓仍然模糊不清，这使得在数据挖掘方面很难衡量什么是应该允许的。我们应该如何救济收集的数据集本身反映了现实世界的偏见这一事实呢限制算法的输入真的是确保其结果公平的最好方法吗还没有人能回答这些重要的问题。在计算机化的决策范围内赋予公民权利保护的具体意义将需要技术人员和民权社区之间进行持续的交流。
自由讨论
北京大学阎天：
谢谢！我讲三点学习体会，分别是关于歧视、算法和话语的。
一、关于歧视。反歧视法的基本逻辑是：净化人事、教育等决策的过程，将法律禁止的因素排除出决策考量的范围，以“诚意正心”保障“修齐治平”。为了实现净化，首先要将决策过程还原出来，这主要是通过举证责任分配制度来实现的。先还原决策过程、再剔除歧视因素，这种反歧视机制叫做所谓差别待遇（disparatetreatment，美国法）或者直接歧视（directdiscrimination，欧盟法）。但是，有些决策过程是难以还原的，比如大企业内部的多层级决策和多头决策，比如所谓无意识偏见（unconsciousbias）。为了净化这种决策，法律实施结果倒推的办法，先根据结果推定歧视存在、再让嫌疑一方自证清白，这就是所谓差别影响（disparateimpact）或者间接歧视（indirectdiscrimination）。与直接歧视相比，间接歧视机制给决策者施加了更为沉重的注意义务，要求他们在决策时就想到今后对簿公堂、自证清白的需要，迫使他们安分守己、谨慎行事。
二、关于算法。算法，特别是基于大数据的算法，会给反歧视法带来什么？一方面，算法给人们认识决策过程带来了难度，一是“繁”，数据太多，致使决策过程还原困难；二是“难”，技术太不好懂，即使决策过程被还原出来也难以评价。所以，算法普遍使用，可能导致直接歧视机制效用下降，法律会更加倚重间接歧视机制。另一方面，算法是多年来的办公自动化进程的新表现，它有助于增强决策机构内部的一致性，缩减决策者、特别是低层级决策者的自由裁量权，这又是有助于减少歧视的。
三、关于话语。技术本身是中立的，而技术又无往不在社会之中，这意味着技术很容易被社会上的歧视所感染。如果人工智能发展起来，技术产生自我意识，或许还会发生原发性、而非继发性的技术歧视。这就像电影《终结者》中，机器觉醒之后产生的第一个意识就是歧视人类。但这是后话了。我们既要反对“技术万能”的盲目乐观态度，也要反对“技术致命”的盲目悲观态度。这两种态度本质上都是夸大了技术的作用，可称为“泛技术话语”。同时，我们也要对“泛平等话语”保持警惕。平等具有强大的修辞力量，这种力量是致命的诱惑，它很容易遮蔽人们对于何谓平等的分歧，而这种分歧才是社会的真相。我们要勇于面对真相，防止泛技术话语和泛平等话语的合谋，丢掉幻想，准备斗争。
中国人民大学丁晓东：
至于大数据杀熟和价格歧视等问题，有必要首先澄清。反歧视在西方的语境下主要是反对身份性歧视，对于非身份性歧视，法律并不干预。就这一点来说，大数据杀熟和文献中提到的反歧视并不是同一个原理。当然另一方面，文献里提到的算法歧视与算法公平问题也对我们中国当下的其他很多应用场景具有很强的启发意义。例如很多看似公平客观的算法，其中是不是加重了歧视？例如后一篇文献提到的差别性影响，是不是可以利用算法来防止对某些弱势群体产生新的伤害？总之，有一点大概是可以肯定的，我们讨论的并非数学意义上的算法，现实社会中的算法总是隐藏着价值观，也因此一定要在算法中嵌入伦理。
中国科学院人工智能联盟吴焦苏：
这个读书会的影响很大，微软纽约研究院的一位朋友吴志威专门给读书会提供了他们的最新论文”PreventingFairnessGerrymandering:AuditingandLearningforSubgroupFairness”（MichaelKearns,SethNeel,AaronRothandZhiweiStevenWu,2018）。
罗治兵
谢谢各位老师！
我谈一点自己不成熟的想法。我们现在笼统说的算法歧视，可以分为两类：一是由于“信息不完全”导致的算法歧视（或者叫“基于信息不完全的歧视”）；二是由于“信息不对称”导致的算法歧视（或者叫“基于信息不对称的歧视”）。由于这两种歧视的起因不同，所以在大数据时代，针对他们各自引发的问题，其处理路径或者说解决办法也应有所不同。
先来看看“基于信息不完全的歧视”。这主要体现在基于种族、民族、性别等因素进行的算法决策上。这类算法侧重处理的是“全有或全无”问题。比如是否招聘某女性、是否贷款给黑人等。在这类算法歧视中，通常只有一方有决定权或一方有明显的主导权。比如一名应届女性黑皮肤大学生，去五百强企业应聘，很显然，该大学生并没有什么主导权，相反，企业在这个过程中的主导权非常明显。
对于歧视，刚才两位老师提到“太阳底下并没有新鲜事儿”。我觉得还有一句话叫“雪崩的时候，没有一片雪花是无辜的！”如果我们每个人的脑海里都没有歧视，那么也就不会在今天讨论歧视问题。然而歧视是现实存在的。关于歧视为什么存在，有很多不同的解释维度，有的说这是人的本性决定的等等。有一种解释我觉得挺好，认为人的歧视根源于“信息不完全”，意思是说人不是上帝，不能像上帝那样全知全能，如果我们每个人都像上帝那样什么都知道、什么信息都知道，我想歧视就不会存在了，就像我们一直强调人应该多读书、多去经历了解、这样我们的视野就会开阔、就会减少我们自身的偏见。这就说明当我们掌握的信息增多时，我们的偏见就会相应减少。
二是“基于信息不对称的歧视”，这主要体现在所谓的“大数据杀熟”、也就是一级价格歧视等算法决策上。这类算法侧重处理的是“多或少”问题。比如你花了10块钱，我花了8块钱。在这类算法歧视中，双方都有一定的讨价还价能力，只是能力大小有所差异。解决这类问题的核心是考虑如何减少信息不对称问题。比如市场上有一些比价软件或插件，消费者可以通过使用这些工具，减少信息不对称，从而提高自己在交易中的讨价还价能力。
另外，所谓的“大数据杀熟”，也就是价格歧视。要进行价格歧视需要一个前提，就是定价权。一个平台如果没有定价权，就算它有再强大的算法、再多的数据等，它也不可能进行所谓的大数据杀熟。比如对于某项业务，不同的平台有着不同的商业模式，有的有定价权，有的没有，这个事实前提一定要首先搞清楚。
再次，价格歧视首先是一个经济学概念，在经济学中通常认为价格歧视是一种正当的市场行为。经济学家研究价格歧视已经几十年了，主要分为一级、二级和三级价格歧视。二级价格歧视是根据数量进行差别定价，比如你买1万件给你打折；三级价格歧视是根据群体或者叫人口统计类别进行差别定价，比如给儿童优惠。一级价格歧视是根据每个人进行差别定价。在“前大数据时代”，由于经济学家认为一级价格歧视只在理论上存在，所以对此几乎没有研究。现在，在经济学家对一级价格歧视还未研究清楚的时候，我们就从法律上去界定其如何如何，我感觉这不太合适。我觉得应该先由经济学家讨论比较清楚了，比如一级价格歧视到底是增加了社会福利还是减少了社会福利，之后再从法律上去分析如何看待一级价格歧视的问题，不宜操之过急。
首都师范大学法律系王也：
当我们在谈及算法歧视时，往往会以传统的法律作为判断标准，即参照国内外关于反歧视法、反不正当竞争法等法律规范来得出其是否正当的结论。这种评价方法虽能化繁为简，但摆脱不了一刀切的僵化后果。因为传统法律具有“深度不学习性”，立法者习惯于通过统一的、刚性的规范去排异，惩戒违反法律的行为，其对于法外的概念往往持排斥态度。相反，算法的特点是“深度学习”，不断地自我更新，自我修复。他能够在接受海量信息后，通过运算制定出“法律云”，即针对每一个用户，制作出与其匹配的法律程序，在个体的程序中，对或错的界限开始模糊，法律概念也没有那么绝对。这就是为什么我们秉承着传统法律时，对于算法歧视的问题能很快得出结论，而在算法社会中，歧视与否甚至是“平等”的概念都存在争议。算法社会将法律争论提高了一个维度，我们不能再一味崇拜规范，而是寻求更多的共识。
中国人民大学法学院周巡：
歧视的产生是基于获取信息的不完整，算法歧视也是如此。诚然，在大数据与人工智能领域，获取数据的量与处理数据的能力是前人所无法比拟的，在多数情形下、在不考虑输入性歧视的情形下，算法所作出的决策也是更少出现歧视的。问题在于，随着人们不可避免地更加信任算法、依赖算法，算法所做出的一些看起来正确也不违反传统歧视认定法则的决策，事实上却可能构成歧视。如何找到界定“算法歧视”的标准可能一个重要问题。是采传统的差别影响标准？还是建立一套新的借助算法的、结合个体特点的个性化“歧视识别标准”？这套标准的成本效用与学理基础又为何？可能是一个值得探讨的话题。