交友平台算法误判用户为“杀猪盘”骗子北京互联网法院审结首例算法风控系统引发纠纷案

“杀猪盘”等电信网络诈骗层出不穷，严重侵害公民人身财产权益，网络平台往往采取算法技术过滤不良信息，然而算法也会闹出乌龙。近日，北京互联网法院审结了首例涉及算法风控系统引发人身权益侵权纠纷的案件，认定被告某征婚交友平台运营者实施算法进行风控，尽到了合理注意义务并采取预防措施，并无主观过错，不构成侵权，驳回了原告李某的诉讼请求。一审宣判后，双方均未上诉，该案判决已生效。

金融公司员工注册交友软件聊天内容触发风控系统被封号

原告李某为某金融公司员工，注册了被告运营的某征婚交友平台，提交了真实照片作为头像以及实名认证手机号。在李某正常使用平台期间，被告对其账户进行了封号处理，并向其他网友提示称“账号可能存在异常”“不要与之发生金钱来往”等。该情况导致原告多位朋友误认为原告是骗子，造成原告名誉受损。

原告诉至法院，认为被告运营的平台实施算法技术造成误判侵犯其名誉权，请求法院判令被告在其平台中公开向原告道歉予以澄清并赔偿原告损失2万元。

尽到算法披露义务监管义务具有正当性

1.行为目的和主观意图、是否具有正当性。根据涉案“预防性风控系统”针对的词汇和行为可见，该系统设置目的确系为预防“杀猪盘”等网络诈骗行为，系为实现法律要求的监管义务和公共利益，具有正当性。

2.行为手段和性质、侵害人身权益的风险性程度、行为过程的审慎程度。算法设置需在现有技术条件下合理、合比例，不得存在算法歧视、算法滥用等侵害他人合法权益的非法手段，根据已查明的事实及被告披露算法逻辑过程，涉案算法设置系基于特定词汇和用户行为的自动化反应机制，并不存在对某类用户的不当歧视。

3.主体身份的特点、技术能力水平及所附注意义务。鉴于涉案平台为陌生人网络交友恋爱类平台，在目前社会背景下加强“杀猪盘”等网络诈骗犯罪的筛查力度，于被告服务类型来说具有一定合理性。

综上，被告基于法律监管要求和公共利益保护的目的，设置“预防性风控系统”算法应用，对用户行为进行中立、无差别的风险筛查，虽因技术水平所限造成系统误判，但尽到了与涉案算法风险相匹配的注意义务，并采取了合理的预防侵权措施，并无主观过错，不构成侵权。

法院驳回原告的诉讼请求。一审宣判后，双方均未上诉，该案判决已生效。

法官说法：针对“过错认定”问题考察算法行为目的是否正当

本案对于算法侵权纠纷的裁判作出以下探索：

一是针对“算法黑箱”问题。算法应用过程存在技术隐蔽性，考察算法行为是否构成侵权的前提需明确涉案算法运行的机制机理。本案中，法院认定，被告作为涉案软件的运营者，对算法应用过程具有披露义务，应提供证据证明涉案侵权行为系算法技术的实施所引发，并对算法运用的具体机理予以说明。

专家点评：需要对平台行为的合理边界和注意义务给出标准和指引

中国社会科学院大学互联网法治研究中心执行主任刘晓春：数字经济时代，算法成为网络平台进行信息交换、资源调配、内部治理的重要途径，对于算法的治理和规范是建构网络空间综合治理秩序的重要组成部分，与此同时，平台积极运用算法参与综合治理，也需要对其行为的合理边界和注意义务给出标准和指引。

本案中，法院一方面承认了用户权益在平台经济中应当受到充分保护，另一方面也认定了网络平台依据法律要求、履行打击电信诈骗等治理义务的行为存在合法性基础，当两者出现一定程度的利益冲突时，本案判决为平台确立了合理的注意义务标准及具体认定因素，在个体用户权益保护和实现社会治理功能之间寻求精准的平衡点，探索并确立了判断平台治理合理边界的法律适用标准，在确认平台可以继续采取有效措施防范“杀猪盘”等电信诈骗风险的同时，又确保被算法“误伤”的个体权益可获得救济途径，从而实现更大范围内切实保护人民群众切身利益的目标，为构建协同共治的网络空间治理秩序提供法治保障。