打开APP

「2亿诈骗案」一年后,AI换脸犯罪更疯狂了

AI换脸技术引发的社会震荡正在重塑人类与技术共处的边界,其规范之路任重而道远。

定制换一张脸成本有多高?答案是——只需要一杯奶茶钱。在各大平台上,换脸服务比比皆是,只需要9块9,就能迅速获得一个真假难辨的换脸内容。

随着AI技术的迅速演进,有关DeepFake(深度伪造)的讨论也愈演愈烈。

相关受害人,从全球知名艺人泰勒·斯威夫特、跨国公司高管、韩国未成年人,再到今年春节因AI配音刷屏的雷军。2024年国庆期间,未经授权的雷军AI语音包和换脸视频在网络上疯传,网友调侃:“十一放了七天假,八天被雷军骂醒。”

不久之前,“雷军称AI换脸拟声成违法重灾区”话题也登上微博热搜第二,相关讨论量达到了1.4万,足以见得DeepFake正成为困扰多数网友的一把利刃。

正如雷军所言:“刚开始我觉得是网友喜闻乐见,拿我开涮我也能接受,但内容比较低劣,多到不得了的时候,就防不胜防,而且网友们也在投诉”。

深度伪造带来的各类风险,该被重视起来了。

1. 震惊一时的香港最 大AI诈骗案

震惊一时的中国香港跨国公司诈骗案,曾经描述过如此戏谑的一幕。

跨国工程公司Arup香港分公司的一位员工,有一天突然收到了一封会议邮件,邀请他参加一场由总部高管发起的重要会议。

起初他有些怀疑,但随着他进入会议,看到了一张张熟悉的高管面孔,警惕性也逐渐放了下去。包括该公司CFO在内的多位高管不仅入会了,还都开着视频和麦克风,在发言中他们谈论到了一起秘密收购案件,讨论过后这些高管还给中层布置了任务。

这位员工在会议中未进行任何发言,但对此次会议的真实性已全然接受,散会后,邮件和即时通讯消息就来了。其中的一位领导要求这名员工将2亿港元(约合1.8亿元人民币)分别转入5个账户中。

这名员工就这么照做了,5天后,在与真正总部的沟通中,他发现,自己被骗了。

更为震惊的是,在这场神秘的会议中,这名员工其实是唯 一的一名真人,其余所谓的高管,均由犯罪分子根据高管们在公开平台的视频信息通过技术生成,是一个个虚拟数字人,却做到了真假难辨的地步。

这件事发生在一年前。一年时间,对AI行业而言,意味着技术的飞跃已是指数级攀升。

由此引发的犯罪频率也越来越高。

2025年1月,银川某建材公司经理张先生接到“领导”视频电话,要求紧急转账。因AI换脸技术高度逼真,他分两次转出20万元。《法制日报》日前报道,天津李先生被AI合成的“领导”视频诱导转账95万元,警方与银行联动冻结83万元。山西某犯罪分子甚至利用AI换脸通过人脸识别注册虚假公司,虚开增值税发票42余万元。

一面是不断高发的诈骗案例,一面是消费者浅薄的防范意识。

“有没有高手会AI换脸呀?”

凤凰网科技在检索各大平台信息中发现,仍有不少人对换脸技术缺乏风险意识。某社交平台上“AI换脸服务”帖子下,回复清一色:“视频,照片,随便换”。某二手平台上,用户仅需提供5秒视频和清晰五官照片,支付9.9元即可获得定制化换脸视频,2.9元的低价安装包也让粗糙的换脸工具触手可及,而DeepFaceLab等专业开源软件搭配全网传播的教程,更使得技术滥用呈现全民化趋势。这种技术平权背后,暴露出法律监管与犯罪手段之间的严重失衡。

法律规制与技术进步之间的时差正在制造监管真空。以杭州互联网法院2023年审理的虞某案为例,犯罪嫌疑人利用AI换脸技术制作淫秽视频非法牟利,被告赔偿6万元并公开道歉。

凤凰网科技在咨询相关领域律师后发现,尽管现行法律与管理规定已明确禁止利用信息技术伪造肖像,且动态影像也已经受保护。但在责任边界的某些方面以及赔偿计算标准上缺乏量化细则。且目前由于立法还不完全,所受的惩罚与牟利并不成正比,这就让犯罪之人有了更大动机。

同时,技术滥用已衍生出专业化犯罪链条,诈骗组织通过社交平台精准盗取目标对象的生物特征数据,利用云端合成技术生成克隆声像,实施“数字分身”诈骗。

当然,AI换脸也并非真的无懈可击。

现有技术仍存在可识别的生理破绽,例如微表情缺失,光影不匹配,皮肤过度平滑,声音缺乏停顿,语速快等问题,这些技术局限为公众提供了关键辨识窗口。

2. 平台该不该承担更大的责任?

AI技术的普及让内容生产的门槛被极大地降低了,但也让网络世界开始充斥着浓浓的AI味儿。尤其是一些AI产品愈演愈烈的幻觉率,让虚假信息随之滋生,用户稍不留意便会陷入真假难辨的困境。

目前,此类问题在短视频平台尤为突出,大量违背常识与道德底线的AI生成内容正在污染互联网,如“甄嬛吃汉堡”“宠物猫狗说人话”“AI雷军”等,通过算法推荐迅速扩散,挤占优质内容的生存空间。

更令人担忧的是,部分用户对AI“一本正经地胡说八道”盲目信任。如缺乏甄别能力的老年人群体,正在被各类“赛博乖孙”控制。有网友说自己的奶奶最近经常对着手机屏幕“哎”,仔细一看才发现视频中是手拿元宝,一口一个奶奶的AI生成乖孙。

但这一切,真的没有遏制的手段吗?

此前《人工智能生成合成内容标识办法(征求意见稿)》曾对此提出明确规范。

如在生成环节,要在相关内容的特定位置,添加直观可见的显式标识,让用户一眼便能察觉内容的AI生成属性。在传播环节,平台的责任更加重大,要有能甄别并提示AI内容的能力。抖音在2023年曾发布《关于人工智能生成内容的平台规范》,要求创作者主动标注AI生成内容,违规者将面临处罚。

另一内容平台的相关运营也对凤凰网科技表示,对于AI生成内容,内部一直持谨慎态度对待。“从生态治理的角度,AI内容的风险肯定是大的,但从用户活跃的角度来说,在极大的降低生产门槛后,会让一批新的账号长出来”,也因此,平台对AI类内容一直持摇摆态度。

但对于突发事件中的AI谣言,平台更需要主动承担起识别并扼杀的任务。

如近期微博上流传“某男星连续七日豪赌输光10.3亿元流动资产并抵押资产”的消息, 3月10日晚,微博CEO王高飞(账号“来去之间”)就专门做出回应,称“AI分析完判断该传闻缺乏实质性证据,且主要信息源为匿名账号及营销号,存在动机和逻辑漏洞……”。随后在3月11日,周杰伦经纪公司杰威尔音乐官方微博也发布声明正式辟谣。

AI换脸技术引发的社会震荡正在重塑人类与技术共处的边界。当生物特征数据成为可被9.9元交易的商品时,其背后暗藏的系统性风险已超出个体防范范畴。多方观点都认为,其规范之路任重而道远。

数字文明的真正考验,在于能否在代码世界重建人文价值的锚点。不是简单地安装一个技术补丁,而是需要将技术向善的原则转化为法律条款、算法规则和公民意识。唯有如此,才能在日渐强大的数字世界里,守住人们的底线。

【本文由投资界合作伙伴凤凰网授权发布,本平台仅提供信息存储服务。】如有任何疑问题,请联系(editor@zero2ipo.com.cn)投资界处理。

相关资讯

AI数据总览

HiDream.ai智象未来(合肥)科技股份有限公司
融资时间2026-07-23 当前轮次C轮 融资金额15亿人民币
AI
涉及机构: 社保基金四川振兴科创基金工银资本弘颐资管敦鸿资产厦门国贸资本上影新视野基金长江产业集团华策影视航源资本创云海资本华福投资余杭金控交银投资若松基金合肥产投集团东方富海金浦投资金华金投集团中哲集团湖南财鑫集团
红熊AI上海算模算样科技有限公司
融资时间2026-07-20 当前轮次A+轮 融资金额数千万人民币
AI
涉及机构: 九纬基金彰宜资产格睿丰
记忆张量记忆张量(上海)科技有限公司
融资时间2026-07-20 当前轮次Pre-A轮 融资金额亿级人民币
AI
涉及机构: 哈勃投资荣耀商汤国香资本深创投和玉资本
面壁智能北京面壁智能科技有限责任公司
融资时间2026-07-15 当前轮次D++轮 融资金额数亿人民币
AI
涉及机构: 国家级基金央企汽车制造商等各类产业方知名财务投资人
帷幄杭州帷幄未来科技有限公司
融资时间2026-07-15 当前轮次C+++轮 融资金额4000万美元
AI
涉及机构: 招银国际(CMB International CMBI) 旗下专注于 AI 及前沿科技的基金日本三井住友银行 (Sumitomo Mitsui Banking Corporation SMBC) 旗下企业风险投资基金 SARF (SMBC Asia Rising Fund)三菱 UFG (MUFG) 旗下泰国大城银行 (Bank of Ayudhya) 企业创投 (CVC) 平台 Krungsri Finnovate弘章投资 (Charisma Partners)韩国现代汽车集团 (Hyundai Motor Group) 新加坡电信 (Singtel Innov8)

最新资讯

热门TOP5热门机构 | VC情报局

去投资界看更多精彩内容
【声明:本页面数据来源于公开收集,未经核实,仅供展示和参考。本页面展示的数据信息不代表投资界观点,本页面数据不构成任何对于投资的建议。特别提示:投资有风险,决策请谨慎。】