打开APP

AI换脸风暴:骗局、产业与技术防守

今年开始,4月份国家网信办发布了一个关于生成式人工智能的征求意见稿,专门针对AI技术和AI行业特有的现象进行了规范,特别是对AI软件的提供者、AI服务的提供者,赋予了更多的责任和义务。

“AI换脸”的风险不止于诈骗。也被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中,其中法律风险和侵权纠纷已经出现。

导读

壹  ||当人类已经很难用肉眼识别出AI合成痕迹,进而可能被AI诈骗时,有些人想到一个办法,用AI技术打败AI技术。

贰  ||互联网公司们对AI大模型及GPT产品都非常谨慎。目前为止,推出大模型内测的公司有几十家,但都在内测,没有一个向公众开放。

叁  ||  今年以来,国内也陆续出现过一些“虚拟女友”类面向C端的AI产品,可以用AI模拟人类和用户聊天,但很快被微信等平台封掉。张


一位包头老板被AI换脸诈骗430万元的消息,瞬间传遍了整个朋友圈。而三天之后,安徽警方公布了另一起AI换脸导致的诈骗案,涉案金额同样高达百万元。

这种利用AI技术的新型犯罪也很快引发了监管关注。中国互联网协会5月24日在官微发文称,ChatGPT和GPT-4等技术的应用,成为了信息科技领域的热点,引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源,深度合成产品和服务逐渐增多,利用“AI换脸”“AI换声”等虚假音视频,进行诈骗、诽谤的违法行为屡见不鲜。并提醒面对利用AI技术的新型骗局,广大公众需提高警惕,加强防范。

AI换脸技术并非直到近期才成熟;早在2019年起就风靡全球,2019年换脸技术DeepFake一出现便引发了巨大伦理和法律争议,但彼时的技术已经证明,“一键换脸”起码从技术上来看,并不存在什么门槛可言。

不过,技术的细节迭代还是发生了。比如相比此前肉眼能够比较轻松识别、在生成式AI技术浪潮爆发的当下,AI换脸正在越来越变得毫无痕迹。

创新工场AI子公司、港股上市公司创新奇智CTO张发恩告诉记者,随着AI技术发展越来越快,研究越来越深,AI换脸、换声音,破绽会越来越小。“技术是好的,但有时候会被不法分子利用。”张发恩也是宁波诺丁汉大学客座教授,曾任百度智能云事业部首席架构师和技术委员会主席。

01 技术与防守

“现在已经到了大规模、集中化讨论AI风险的关键时刻。”接受记者采访时,清华大学教授、博士生导师沈阳提出警示。他研究AI和大数据已有十多年时间。

沈阳今年也在做大模型平台,他了解技术进步的速度,也知道大众面对新技术的无措。他承认,AI技术有很正向的应用价值,但其坏的一面也应该重视。

根据沈阳的判断,AI换脸等引发的问题,会让我们经历一段混乱阶段,这对当前社会的整体反应提出了高要求。并且,这种混乱还将蔓延相当长时间。

“会比互联网或移动互联网早期的混乱期更长。毕竟互联网和移动互联网,都还是工具,但AI可能是自我觉醒的新物种,它是真的能挑战人类的存在。”沈阳说。

国外ChatGPT产品已经向大众开放,暴露的风险更多。据了解,目前OpenAI已经选择暂停研发GPT-5,暂停时长6个月。麻省理工学院人工智能与基础交互中心物理学教授、未来生命研究所所长Anthony Aguirre称,GPT的军备竞赛是不幸的,这更像是一场自杀竞赛。“我们面临着不负责任的企业、广泛应用、监管缺失和大量未知因素引发的*风暴。”

一览科技联合创始人兼CTO陈锡言告诉记者,能否识别哪些是AI生成的内容,会在未来成为人类基本生存技能。因为这些能力是不可或缺的。

当人类已经很难用肉眼识别出AI合成痕迹,进而可能被AI诈骗时,有些人想到一个办法,用AI技术打败AI技术。

独到科技CEO张文浩觉得,AI安全是当下一个好赛道,最近出现了大量专门针对AI安全的公司,创业方向是识别AI合成图片、视频的痕迹,以及辨别伪造声音。

陈锡言对此也很感兴趣。他说,虽然自己从事AI视频行业,现在能一眼识别出某个视频是否由AI合成,但如果有类似产品出现,他也愿意购买。毕竟,技术会发展到什么程度,很难预料。

记者统计的近3个月获得投资的AI公司中,安全公司有2家,分别是齐治科技、云科安信。

一位大模型公司技术人员告诉记者,AI安全是学界中的一个很重要的研究领域,上升为工程产品后,“整个大模型的业界都在讨论这个问题”。

不过,AI是否能真的识破AI,目前仍有争议。

沈阳告诉记者,现在国外有一些AI安全技术雏形,可以自动检测某个图片或视频是否为AI合成,但当前技术还不是太成熟。

技术难点在于,AI生成的数据量太大,检测的算力跟不上。并且,很多AI内容都经历了多次合成。如果只经历一次合成,还相对好识别。若是多次合成,当前的技术很可能就找不到合成特征了。

张发恩对此更不乐观。他直截了当的说,用AI识破AI,是个伪命题。有一种人工智能模型训练方式叫生成辨别对抗训练,在这种训练方式下,有两个AI模型,一个是“造假”模型,一个是辨别模型。同时训练这两个模型,当“造假”模型产出的内容越来越逼真,辨别模型就无法辨别真假。基于这种逻辑,我们无法依靠AI来揭穿AI。

他觉得,还是需要人们自身提高防范意识,大众也应该多接受知识普及,至少要知道技术已经发展到哪个地步了,自己多警觉一些。

沈阳补充说,防范AI风险还需要AI生成平台,以及社交传播渠道的配合。比如AI换脸,或是换声时,内容生成平台应该自动打码,标注其是由AI合成,以起到提醒作用。

陈锡言也赞成这一点,他认为一项AI内容诞生后,人们应该是被告知的,这比较符合价值观和伦理。此外,传播渠道也有自己的责任,一旦发现某个账号涉嫌诈骗,应该及时封控账号。

02 选择与进退

事实上,“AI换脸”的风险不止于诈骗。也被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中,其中法律风险和侵权纠纷已经出现。

天眼查显示,上海鱼腥草信息科技有限公司就因旗下一款AI换脸APP而遭多位网红博主起诉,法院判决该公司公开道歉,并赔偿经济损失。今年3月,一名女性搭乘地铁时的照片被人用AI软件“一键脱衣”,遭到恶意传播。

张文浩告诉记者,近期“AI换脸”问题频发的根本原因是,多个AI大模型开源,开发工具非常多,使用门槛极速降低。恶意使用者用开发工具生成AI内容,也很简单直接。“在技术上已经到了这样的程度了。”张文浩是清华大学人工智能博士,对基础模型、图像视觉等领域有多年研究。

目前,互联网大厂或是正规企业没有做面向C端的AI产品,但这也给了灰色地带以机会。

派拓网络大中华区售前总经理董春涛发现,包括AI换脸在内的AI攻击之所以会愈演愈烈,和网络犯罪门槛逐渐降低是分不开的。暗网中的一些攻击工具可以很低廉——甚至不到10美元,而且还出现了软件即服务模式和ChatGPT等AI工具,给初级和业余黑客大开方便之门。董春涛有多年网络安全背景,派拓网络是一家关注AI生成内容工具对网络安全的影响的公司。

派拓网络数据显示,从2022年11月至2023年4月初,ChatGPT相关域名注册量每月暴涨910%。期间,团队从DNS安全日志中发现相关抢注域名的盗用增长高达17818%。

图灵三巨头之一、蒙特利尔大学的教授Yoshua Bengio此前就预警了这种风险。他在解释自己为什么签名赞成暂停*AI研发时说,自从ChatGPT发布以来,大家发现不那么谨慎守规矩的玩家会有竞争优势,如果是这样的话,通过降低谨慎和道德监督的水平,就更容易出头。

AI孙燕姿爆火后,一位互联网大厂人士告诉记者,他们公司内部其实早就有类似产品,并且能生成比网络上效果更好,可以媲美歌手在录音棚录制效果的歌曲,但担心版权风险以及不可控的其他风险,一直没有面向C端用户推出。

互联网公司们对AI大模型及GPT产品都非常谨慎。目前为止,推出大模型内测的公司有几十家,但都在内测,没有一个向公众开放。

上述大模型公司技术人员告诉记者,互联网公司都在朝着无害性的生成内容方向去努力,如果无法解决安全问题的话,大模型产品是不会真正上线的。

大模型加持的AI产品和以前的AI产品完全不同。上述互联网大厂人士举例说,比如抖音之前推出过一键变成漫画脸,AI换装等,这些AI玩法属于定制化的,已经提前设置好结果了。但大模型加持后,AI生成的结果完全是随机的,“这真的很可怕,根本管不住。”

AI创业公司的态度也同样谨慎。独到科技产品主要面向B端客户,为KOL或专业人士、广告营销公司、以及各行各业有营销和拉新需求的企业,提供一键式生成视频的功能。这个产品已经成熟,可以向C端用户推出。但张文浩目前不考虑C端市场。

一览科技联合创始人兼CTO陈锡言认为,GPT对话模式已经把AI应用层覆盖了一大半,不过好的方面是,垂直2B的领域,创业公司还是有机会的。比如文娱行业,一览科技目前推出了从AI编剧到AI视频一整条产业链的AI内容生成服务。影视剧组、MCN公司已经使用他们的产品。

03 产业与边界

当前面向C端的AI公司也不受投资者青睐。记者统计了最近3个月AI领域投融资情况,获得投资的B端公司的11个,C端公司有1个,还有5家公司B端、C端都做。投资机构不太敢投C端产品,他们担心产品万一出事,就白投了。

这种教训早有先例。2019年8月底,陌陌旗下产品ZAO也推出过一键换脸功能,当时ZAO一夜走红,迅速登上苹果App Store免费榜的*位。但仅仅过了3天,ZAO就被质疑侵犯隐私,被工信部约谈,之后下架。2021年3月另一款AI换脸产品Avatarify经历了类似的过程,这款*过中国区App Store应用免费榜榜首的AI换脸产品,3月2日凌晨悄然从App Store下架。

今年以来,国内也陆续出现过一些“虚拟女友”类面向C端的AI产品,可以用AI模拟人类和用户聊天,但很快被微信等平台封掉。张文浩观察到,国内大平台目前不支持这种产品的上线。

记者在各个电商平台平台搜索“AI换脸”“AI换脸套餐”均未显示任何结果,社交平台则更多是防止AI换脸诈骗的内容。

北京嘉维律师事务所律师赵占领对经济观察报记者表示,目前AI换脸、AI换声音还不算是一个产业,是AI产业滋生出来灰色地带,通常涉及到侵犯肖像权或者声音相关的权益。使用他人的肖像和声音需要经过他人授权,如果通过AI换脸、AI换声音进行诈骗则构成刑事犯罪,需要承担相应的刑事责任。

赵占领表示,使用AI换脸、AI换声音的基本边界是要经过他人同意,不能侵犯他人的合法权益,更不能使用这些技术手段去从事犯罪活动。

赵占领表示,今年之前,没有专门针对AI技术相关的法律规定,传统的法律如《民法典》《民法通则》等民事相关法律以及《刑法》相关的法律规定仍然能够适用,进行规范没有问题。今年开始,4月份国家网信办发布了一个关于生成式人工智能的征求意见稿,专门针对AI技术和AI行业特有的现象进行了规范,特别是对AI软件的提供者、AI服务的提供者,赋予了更多的责任和义务。

赵占领提到,AI换脸即使是不以盈利为目的也可能构成侵权,就算纯属娱乐类的换脸剪辑等也可能构成侵犯他人肖像权。

在北京市中闻律师事务所律师赵虎看来,AI技术发展引起的犯罪或者侵权比较新型,犯罪侵权的样式比较多。但他表示,AI换脸作为一种技术是中立的,这是一个原则,AI技术相关产业不应该被否定。赵虎认为,如果是在知道AI技术将被用于犯罪场景或者侵权场景,仍然提供AI换脸的技术,这种情况提供者同样是犯罪者的共犯或者构成共同侵权。

5月16日,OpenAI 创始人兼CEO Sam Altman出席美国国会召开的主题为“AI监管:人工智能的规则”听证会时,提出希望与政府合作,加强AI监管。他提出了三条建议:组建一个新的政府机构,负责给AI厂商提供许可证;为AI大模型创建一套安全标准;指派第三方专家独立审核AI产品各方面的指标。除此之外,Altman支持创立一个类似一个国际原子能机构的国际组织,专门负责为各国监管AI建立统一标准,以统一方向。

张文浩也希望,能有更清晰的法律与规则,让AI行业发展的前景更为明朗。

【本文由投资界合作伙伴微信公众号:经济观察报授权发布,本平台仅提供信息存储服务。】如有任何疑问题,请联系(editor@zero2ipo.com.cn)投资界处理。

相关资讯

AI数据总览

最新资讯

热门TOP5热门机构 | VC情报局

去投资界看更多精彩内容
【声明:本页面数据来源于公开收集,未经核实,仅供展示和参考。本页面展示的数据信息不代表投资界观点,本页面数据不构成任何对于投资的建议。特别提示:投资有风险,决策请谨慎。】