警惕四大AI新骗术,有人10分钟被骗430万洛阳兆光网络科技有限公司

一场大型AI普法运动兴起,哪些行为侵权违法了?

最近几天,AI新骗局在全国炸开了锅。

就在今早,一组引起美股大跌的五角大楼爆炸图片被官方证实为假,疑似由AI合成。

随着AI技术掀起新一波落地潮,AI深度伪造(DeepFake)内容在全球范围内病毒式传播,引起产业的强烈担忧。

有AI技术专家告诉智东西,对于目前这些AI深度伪造技术生成的音视频等内容,普通人用肉眼来鉴别的难度非常之大。

传统骗局换上了一件由AI包裹的“新外衣”,更为隐蔽也更加让人防不胜防。这些AI新骗局是如何骗人的?难辨真假的AI伪造内容需要怎么去识破?产业乱象又有什么样的解法?通过对市面上各种AI新骗术进行梳理分析,本文对这些问题进行了深入探讨。

AI负面用途的爆发远快于我们的想象。随着AI技术能力加速迭代和落地,AI伪造变得更加容易、内容也更为逼真,随之而来的是假新闻、假图片络绎不绝,变声、换脸造成的恶性事件引发社会担忧。很多人感到,“有图有真相”、“眼见为实”的常识似乎受到了有史以来最猛烈的冲击。

或许我们的身边已经发生了不少由AI换脸引发的恶性事件,只是我们尚未察觉。

面对这类新型诈骗方式,一是需要保护好个人信息,不轻易提供任何涉及个人隐私的信息给他人,不随意点进陌生链接、下载陌生软件;二是要通过各种渠道核验对方身份,对潜在风险保持警惕。

和“AI换脸”功能极为相似的是“AI脱衣”。早在今年3月,一则“女子地铁照被AI一键脱衣传播”的新闻冲上了热搜,一名女性搭乘地铁时的一张照片被人用AI软件“一键脱衣”,遭到恶意传播,罪犯还广泛散布不实信息对该女子进行污蔑。

“AI换脸”在此前已被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中,但其中隐藏的法律风险和侵权纠纷依旧不容忽视。近期,据企查查官网信息显示,上海鱼腥草信息科技有限公司就因旗下一款换脸手机APP而遭多位网红博主起诉。

AppStore中有近百款“AI换脸”应用程序

“特效合成师洪亮”账号中上传的部分AI合成换脸视频

蹭流量的行为,无论是对被换脸的明星,还是对技术充满好奇的公众,都产生了不良的影响和困扰,娱乐和技术之间的界限不应模糊至此。

一位网友用美国知名歌手弗兰克·奥什(FrankOcean)的歌曲片段训练出来仿冒其音乐风格的歌曲,并在地下音乐论坛上发布了这些“音乐作品”,还将这些歌曲伪造成是在录音时不小心泄露的版本,最终蒙混过关,卖出了近970美元(折合为6700元人民币)的价格。

电影公司意识到了事情的不对劲,向该演员的经纪公司进行求证才发现从头到尾就是一场AI骗局。

美国CBS电视台的电视新闻杂志节目60Minutes在5月22日的最新一期节目中,现场展示了黑客是怎样克隆声音来骗过同事,并成功窃取护照信息的。

60Minutes在推特中上传了完整视频

在AI换脸视频铺天盖地传播的情况下,AI假照片更是泛滥成灾。

随后美国国防部发言人立即证实,这同样是一张由AI生成的虚假图片,这张图具有明显的AI生成特征,比如路灯有些歪,围栏长在了人行道上等。

Midjourney生成的90年代情侣写真已经让网友真假难辨,3月时几张前美国总统特朗普被捕的组图在推特上疯传。

照片中的特朗普被警察包围,又按倒在地,看上去狼狈又慌乱。在听证会上,他掩面痛哭,还在潮湿阴暗的囚房中穿上了狱服。这些图片由公民记者网站Bellingcat的创始人艾略特·希金斯(EliotHiggins)用Midjounrney制作而成。组图发出后,他的账号也随之被封查。

一组由Midjounrney生成的特朗普“被捕”图

“特朗普被捕图”发出不久之后,教皇方济各穿着巴黎世界羽绒服走秀的照片在网上引起轩然大波,发出不久后便有了2800多万的点击量,让不少网友都信以为真。

教皇身着巴黎世家羽绒服走秀

Reddit论坛上的Midjourney板块中,一组“2001年卡斯卡迪亚9.1级大地震,引发的海啸摧毁了俄勒冈州”被大面积传播,照片当中的受灾现场一片混乱,救灾人员、新闻记者、政府官员等人相继出现,人们面带忧虑、惊恐和慌张。但实际上这完全是一场AI引发的“灾难”,历史上并不存在。而这些要素齐全、颜色真实的图片场景让人看上去难辨真伪。

5月7日,甘肃省平凉市公安局网安大队侦破了一起AI炮制虚假信息的案件。

此条新闻一经发布后便获得了超1.5万点击量,好在警方在舆论进一步发酵前介入调查,证实是犯罪嫌疑人利用AI技术进行的新闻造假。

不光是读者们需要鉴别钓鱼网站中的AI假新闻,老牌媒体有时也会被AI虚假新闻蒙骗。

英国《每日邮报》(TheDailyMail)曾在4月24日刊登过一则新闻,称“一位22岁的加拿大男子为在韩国以偶像身份出道而整容12次,最终丧命”。

报道称,为了在即将上映的美剧中扮演韩流明星BTS组合中的Jimin,22岁的加拿大演员花了2.2万美元做了12次整形手术,最终不幸身亡

网友对其离世的消息表示惋惜

然而事情在一位驻韩记者以及美国广播电台iHeartRadio提出质疑后全面反转:该男子可能压根就不存在。网友将其照片拿去AI内容检测网站查证后发现,照片有75%的可能性是AI生成的,韩国MBC电视台求证警方后也得到了“未收到类似死亡案例报告”的回复,这则新闻立刻被证实为“AI造假新闻”。

但是事情还未结束,本月初,该男子的家人决定起诉报道过“假新闻”的媒体以及男子所属的经纪公司,还有第一位宣称男子已死亡的记者。言下之意就是,照片并非是AI生成的,男子的确因整容过度而引发的手术并发症而丧命。

多家媒体在未经核实身份,也没手握实质性证据的情况下,称该男子的身份和信息都是编纂的,让一场由AI引发的闹剧彻底变为了一场惨痛的悲剧。

当AI技术泛滥时,娱乐圈明星成了首当其冲的重灾区。

近日爆火的孙燕姿在昨晚对“AI孙燕姿”的出现发长文给予回应。

孙燕姿回应“AI孙燕姿”的出现(中文翻译版)

她对于“AI孙燕姿”的出现采取了较宽容的态度,并未通过法律手段进行追究。她称:“无法跟一个没几分钟就能推出一首新专辑的‘人’来比。”她认为,虽然它(AI)既没有情绪,也没有音调的变化,但人类再怎么快也无法超越它。

从回应中不难看出,虽然孙燕姿对AI生成的音乐并不欣赏,但人类确实难以在一时之间赶超机器人的学习能力,她选择对这些热歌翻唱视频淡然处之。

“AI孙燕姿”播放量排行靠前的几首歌曲

而孙燕姿也并非是唯一一位被“AI翻唱”的歌手,还有AI周杰伦、AI王心凌、AI腾格尔等人陆续出现。

尽管孙燕姿选择不追究法律责任,但当AI技术已经滥用到损害商业利益、触及法律红线时,还需要及时维护自己的正当权益。

AI换脸技术并非是近期才兴起。早在2017年,一位名为DeepFake网友将情色电影中的女主角换脸成好莱坞明星盖尔·加朵(GalGadot),这是AI换脸技术首次出现在公众视野当中。后来由于大量投诉者表示不满,其账号被官方封禁,而此后的AI换脸技术则以他的名字命名为“DeepFake”。

AI换脸真正在国内火起来是在2019年初,一段通过AI技术将《射雕英雄传》中黄蓉扮演者朱茵的脸替换为杨幂的视频在网络上热传,有网友表示毫无违和感,也有网友提出可能会侵犯原扮演者的肖像权,制作者肖先生对此回应称:主要适用于技术交流,不会用于营利行为。

网友将演员朱茵在《射雕英雄传》中扮演的“黄蓉”一角替换为演员杨幂的脸

这也成为国内使用AI进行影视剧二创的早期开端。

AI技术如今早已被不法分子盯上,并用于各类层出不穷的换脸花样上,不止是娱乐圈明星,也有不少普通人被所谓的“私密照片”敲诈勒索。多位网络安全部门的民警称,AI深度合成技术在之前因为缺少监管,造成了不少信息安全隐患和网络传播乱象,甚至间接导致了刑事案件的发生。

面对这些更加恶劣的情况,人们需要拿起法律的武器保护自己,由此而来的将是一场有利于产业发展的大型AI普法运动。

面部和声音的伪造横行,首先面临的是个人隐私侵权问题。根据《民法典》第一千零一十九条:“任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。”同时,“对自然人声音的保护,参照适用肖像权保护的有关规定。”而让人们更担心的是,伪造信息如果落到不法分子手里,可能会进一步利用信任侵害人们的财产权甚至是健康权。

实际上,我国一些人工智能领域的专门法规也已有规定。国家网信办等部门已经在2022年12月颁布《互联网信息服务深度合成管理规定》,用25条规定划定深度合成技术使用规范,包括不得利用深度合成服务侵犯他人合法权益等法律、应用程序分发平台应当落实上架审核、服务提供和技术支持者应当加强技术管理等规定。

就在4月11日,国家互联网信息办公室又迅速起草了《生成式人工智能服务管理办法(征求意见稿)》,涉及的生成式人工智能包括基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术,可以说对当下的AI伪造进行了全面的规定。

“造假”和“打假”并不是因AI而产生,但今天的AI技术让“造假”变得更容易且更难以分辨。面对扑面而来的AI伪造内容,人们自己有没有能够去识别的技巧?

“普通人如果遇到这类情况,可以在视频时有意识地引导对方做一些动作,如:大幅度地摇头或张嘴。如果骗子技术手段较弱,那么我们有可能发现对方面部边缘或者牙齿的瑕疵,从而识别出AI换脸。不过,这个方法对于识别出‘高水平’的诈骗分子,还存在难度。此外,还可以追问几个只有你与借款者之间才知道的私密信息,来核实对方身份。”

“在防止自己上当受骗的同时,还要注意保护好个人图像,尽量避免在公开平台大量晒自己的照片和视频,给不法分子提供便利。因为,深伪视频制作的原材料是个人图片、视频,这些数据越多训练出的视频也就越逼真、越难以鉴别。”萧子豪补充说。

AI让骗局和错误信息变得更加难以被发现,科技公司及内容分发平台的审核把关变得更加重要。

苹果公司联合创始人史蒂夫·沃兹尼亚克(SteveWozniak)近日在一次采访中警告称,AI内容应该被明确标记,并且需要对该行业进行监管。任何由AI生成内容都应该由发布者来承担责任,但不代表大型科技公司可以逃脱法律制裁,沃兹尼亚克认为,监管机构应该追究大型科技公司的责任。

根据我国颁布的《互联网信息服务深度合成管理规定》,内容提供者需要按照对生成的图片、视频等内容进行标识等。实际上,我们已经看到小红书等国内社交平台标记了疑似AI生成内容,能起到一定预防作用。但AI生成内容的最后一个关口还在用户自己,媒体平台只能起一个过滤作用。

THE END
1.“AI换脸”诈骗频发,全国人大正加强对人工智能法律问题研究2023年6月25日,全国人大常委会法制工作委员会举行记者会介绍立法工作有关情况。全国人大常委会法制工作委员会发言人臧铁伟表示,“AI换脸”技术实施诈骗,是一种新型的电信网络诈骗,需要广大群众提高识骗防骗意识,也需要有关部门依法加强治理和执法,追究相关人员法律责任。 http://fw.mwfw.cn/fltk/241278.html
2.全国人大法工委:现行法律对“AI换脸”诈骗有规定钛媒体App 6月26日消息,近期,利用“AI换脸”技术进行视频合成进而实施诈骗的新闻引起社会广泛关注,全国人大常委会法制工作委员会发言人臧铁伟表示,利用“AI换脸”技术实施诈骗,是一种新型的电信网络诈骗,需要广大群众提高识骗防骗意识,也需要有关部门依法加强治理和执法,追究相关人员法律责任。通过“AI换脸”进行诈骗的https://m.tmtpost.com/nictation/6587870.html
3.现行法律能否有效惩治“AI换脸”诈骗?立法机关回应当日,全国人大常委会法制工作委员会举行记者会。臧铁伟在回答记者提问时指出,利用“AI换脸”技术实施诈骗,是一种新型的电信网络诈骗,需要广大群众提高识骗防骗意识,也需要有关部门依法加强治理和执法,追究相关人员法律责任。从法律方面看,反电信网络诈骗法、刑法等法律为打击治理各类电信网络诈骗活动提供了充分支撑。 https://m.gmw.cn/2023-06/25/content_1303417559.htm
4.中国法院网北京互联网法院集中审理北京市辖区内应当由基层人民法院审理的涉网个人信息保护案件,连续两年发布了涉个人信息保护案件审理的新闻发布会,妥善审理了诸多对相关行业发展具有影响力的涉个人信息及数据的典型案件,参与了多项法律、政策法规的调研工作,通过司法实践和调查研究,主动回应广大人民群众对个人信息保护的新期待,以及市https://www.chinacourt.org/chat/chat/2024/10/id/53300.shtml
5.2023年重大网络安全政策法规盘点《数据安全和个人信息保护社会责任指南》发布 《指南》旨在帮助组织在遵守法律法规和基本道德规范的基础上实现更高的社会价值,最大限度地致力于可持续发展。 《上海市公共数据开放实施细则》发布 为贯彻落实《上海市数据条例》《上海市公共数据开放暂行办法》,促进公共数据更深层次、更高水平开放,支撑上海城市数字化转型https://www.eet-china.com/mp/a273064.html
6.AI诈骗升级,有人被骗430万!看专家为“技术向善”支了什么招如何引导技术向善?减少此类诈骗再次发生?记者就此采访了法律领域专家,他们表示,目前我国对人工智能责任主体地位及刑事责任分配问题未有统一规定,有较大探讨空间。必须明确的是,对于识诈反诈,软件开发机构、金融机构、社交软件等相关主体均有提醒义务。 现状: https://static.nfapp.southcn.com/content/202305/24/c7719392.html
7.罪图鉴》第1期:随意利用他人的肖像AI换脸,需要承担什么法律责任?剧中胡志峰通过AI换脸骗取多位老人的钱款,张建国老人50万元、梅超英老人30万元,再加上许意多的所有积蓄,加起来已经超过百万元。胡志峰的诈骗行为,也导致许意多和妻子自杀身亡。 相信大家都和晓法一样产生了疑问:胡志峰虽没有直接杀人,但也间接导致许意多自杀,他需要承担相关法律责任吗? http://www.xjpeace.cn/content/2022-04/22/content_37310.html
8.AI“复活”逝者的伦理困境和法律挑战这些在科幻电影中展现的片段似乎已经离我们并不遥远,从各大媒体开始尝试的AI主播到AI“复活”的邓丽君与年轻人对话,再到现如今GPT等人工智能的发展,让普通人看到了用AI工具与逝者对话的可能性。然而,其中伴随的不仅有道德伦理危机,更有诸多的法律风险。 http://www.legalweekly.cn/fzzg/2023-04/13/content_8843563.html