21世纪经济报道记者郑雪、钟雨欣、郭美婷 实习生麦子浩 北京、广州报道

当下，以ChatGPT为代表的人工智能技术横空出世，引爆了线上和线下的众多热情，人们对于技术改变抱有期待。前段时间AI歌手大火，出现了最热门的歌手AI孙燕姿。相关人士在接受记者访问时，表达了技术被用于“恶”的担忧。

现在看来，这种担忧已经成真，潘多拉魔盒中的“恶”逐渐开始显现。近日，平安包头通报了一起通过AI技术从而被骗取430万元的消息。作为事件当事人的郭先生，在通过社交媒体与好友视频确认的情况下，仍被骗走大额资金430万元，所幸336.84万元被骗资金已经被拦截。

(资料图片)

在人工智能迅猛发展的背景之下，技术被用于诈骗等“恶”的行为如何防范？又该如何治理？相关专家在接受21世纪经济报道记者采访时表示，用于AI诈骗的深度合成技术颠覆了公众眼见为实的认知，而这往往使得诈骗能够成功。而在相关治理方面，则可以通过“能力+场景”完善分级分类治理标准，以应对技术带来的伴生风险。

10分钟与被骗走的430万

据平安包头消息，4月20日11时40分左右，福州市某科技公司法人代表郭先生的好友突然通过微信视频联系到他，两人经过短暂聊天后，好友告诉郭先生，自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。

好友向郭先生要了银行卡号，声称已经把钱打到郭先生的账户上，还把银行转账底单的截图通过微信发给了郭先生。基于视频聊天信任的前提下，郭先生没有核实钱是否到账，于11时49分先后分两笔把430万元给对方打了过去。钱款转账后，郭先生给好友微信发了一条消息，称事情已经办妥。但让他没想到的是，好友回过来的消息竟然是一个问号。郭先生拨打好友电话，对方说没有这回事，他这才意识到竟然遇上了“高端”骗局，对方通过智能AI换脸技术，佯装成好友对他实施了诈骗。

“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备。”郭先生表示。

此事一出，AI诈骗、AI换脸等话题迅速引爆网络。

而对于长期从事技术工作的厦门市美亚柏科副总经理江汉祥来说，这种AI换脸、语音合成其实没有任何新意，很早之前他就认为这种必然会出现。“随着AI技术的发展，必定有犯罪分子利用这种技术用于行骗等，因为超出大众认知，所以成功率就会很高。”

在整个过程中，值得庆幸的是，当天也就是4月20日12时21分，包头市电信网络犯罪侦查局接到福建省福州市公安局刑侦支队的外协请求，称福建省一知名民营企业负责人被骗走430万元，而涉案的银行卡为包头市蒙商银行对公账户，希望包头警方能够帮忙进行紧急止付。

据了解，包头市公安局电信网络犯罪侦查局启动“包头市警银联动绿色查询机制”，联合蒙商银行相关部门，用时10分钟，成功拦截该诈骗账户内的336.84万元被骗资金。同时，向福州市公安局警方提供了剩余款项93.16万元资金流出信息。目前，相关资金正在追缴当中。

被颠覆的“眼见为实”

深度合成技术能否被合法应用，是关系互联网信息内容安全的大事。虚假信息一直是互联网治理的痛点与难点，深度合成技术的广泛应用则对虚假信息的治理提出了更高的要求。

AI的负面影响正在逐渐凸显出来。相关人员是如何通过AI技术完成电信诈骗的？

江汉祥在接受21世纪经济报道记者采访时解释称，完成AI电信诈骗，是有前提的：一是相关社交媒体被盗号，二是寻找借口重新添加社交媒体成为好友。在这样的背景之下，中间可能有个过渡期。

在完成上述步骤后，通过采集受害者的照片或者语音，通过深度伪造技术可以实时合成视频。“你以为我在跟你沟通，其实还有一个第三方也就是诈骗分子的存在。诈骗分子在和你视频的时候，通过采集受害者的一两张照片、一小段声音等内容，利用生成式人工智能技术，实时生成好友视频。在虚拟摄像头的帮助之下，便可以看到你的亲朋好友在和你对话，在得到你的信任之后，便继续进行诈骗。”

在他看来，电信诈骗链条相关主体没有发生太大变化，主要是会多一个技术环节。AI诈骗其实只是利用了作为中间环节的技术。

那么，AI诈骗能够成功的主要原因是什么？被消解的“眼见为实”超出了日常认知。

江汉祥表示，AI诈骗之所以能够诈骗成功，关键在于出于普通人的日常认知之外。电信诈骗处于时刻的动态变化之中，比如技术的变化、剧本的变化也会引起相关变动。在他看来，不贪图小便宜就不会被骗的观点已经过时，“因为总有一种诈骗方式在你的认知之外，这种情况下和贪欲心理是没有关系的，所以每个人都应该提高警惕。”

“俗语说‘耳听为虚，眼见为实’‘有图有真相’，可见照片、视频在公众潜意识中的真实性远胜文字。而深度合成技术则恰恰颠覆了这一公众认知，可以伪造音频、图片、视频，捏造人物的行为与语言。作为人工智能深度学习领域的一个分支，深度合成技术在近几年迅速兴起，为政治、军事、经济犯罪甚至恐怖活动等提供了新工具，带来严峻安全挑战。”中国政法大学数据法治研究院教授张凌寒对21世纪经济报道记者说道。

面对AI诈骗，公众、平台并非无法反击。

江汉祥提示，预防有多个方面，其中最关键的就是只要跟你谈到钱的问题，你一定要通过多种方式确认对方的身份，比如给对方打一个电话，这里要特别注意的是，必须用你所熟知的电话号码拨出进行确认，因为对方来电显示的号码也可能是伪造的。同时也要关注个人的信息安全，平时养成好的习惯，如不随便点击不明的短信链接、邮件链接等，不随意扫描不明来源二维码、下载APP，另外还要特别注意不轻易提供人脸等个人生物信息给他人等。

“从平台的角度来看，也需要严格规范技术的开发和应用，完善相关授权机制，对于社交媒体账号被诈骗分子盗用从而进行网络诈骗的情况，是可以根据IP地址空间变化及账号活动规律来对用户进行提醒和提示的，甚至考虑强制退出账号，从而减少一部分的诈骗发生。”

陕西恒达律师事务所高级合伙人、知名公益律师赵良善提醒，公众平时注意以下事项，以避免AI换脸诈骗。首先，AI换脸并非无任何破绽，可以要求对方用手指在其面部来回晃动，或者用手掌来挡住一部分脸，若面部出现扭曲，则断定是AI换脸。其次，要时刻保持警惕，尤其是在通话或微信视频中对方声称是亲戚朋友，可以适当询问一些私人信息来验证对方的身份。在确认身份之前，最好先与家人亲友核实一下。最后，要定期更新密码和软件防护措施。为了防止个人信息被盗用，建议定期更改各类账号的密码，并且使用强密码。同时，要安装杀毒软件和防火墙等软件保护电脑与手机的安全，以防止恶意程序入侵致使信息泄露。

以“能力+场景”完善分级分类治理标准

《互联网信息服务深度合成管理规定》对于深度合成服务提供者的安全管理义务提出了一系列规定。若别有用心之人利用深度合成技术、AI技术“作恶”，深度合成服务提供者是否需要承担相应的法律责任？如何理解其中的责任分配？

“目前管理规定有一些防范措施，比如要求实名制注册，要求服务者尽到提示义务，但是如果用户使用AI技术侵权仍是按照事后追责的路径，当前还尚未落地一个事前有效、具体的确保用户合法使用的机制。”张凌寒表示，深度合成技术合成的信息内容一旦传播，其损害仍然难以弥补，这就对辟谣机制和澄清机制的建设提出了要求。

赵良善对21世纪经济报道记者表示，用AI换脸技术伪造他人的脸, 违反了《民法典》相关规定，侵犯了他人的肖像权。与此同时，不法分子以AI换脸方式骗取他人的钱财，不仅侵犯了被换脸的人的肖像权，还侵害了被骗人的财产权，触犯了《刑法》，可追究不法分子涉嫌诈骗罪的刑事责任。

赵良善指出，无论个人还是平台、AI换脸技术提供方，未经肖像权人同意，通过技术手段提取肖像，并擅自使用或上传至换脸App中供用户选择使用的行为都侵害了他人肖像权。在民事责任方面，AI换脸技术提供方需承担连带民事责任，被侵权人可以通过提起民事诉讼方式要求AI换脸技术提供方承担停止侵权、赔礼道歉并赔偿损失等民事责任。

“《互联网信息服务深度合成管理规定》，为深度合成服务划定了‘底线’和‘红线’,强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者落实信息安全主体责任。该规定的出台，对规范‘AI换脸’具有里程碑意义。如果AI换脸技术提供方明知不法分子利用AI换脸实施诈骗仍提供技术服务的，AI换脸技术提供方则构成诈骗的共犯，被害人可选择向警方报案，由警方立案调查。”赵良善说。

深度合成、人工智能技术爆火的“B面”是不可忽视的伴生风险。面对新技术、新应用，监管治理如何应对？

赵良善介绍，新技术、新应用带来了发展机遇，同时也给网络安全带来了风险和挑战。国家网信办作为管理部门，曾会同有关部门制定出台了《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》、《个人信息安全规范》等法规，国家网信办需利用这些法规，指导督促互联网企业开展安全评估，监管上线的新技术、新应用。与此同时，国家网信办还需开展App违法违规收集使用个人信息专项治理，保护用户个人信息和个人隐私，维护用户合法权益。

“一般认为，深度合成可能被用于‘无中生有’或篡改信息内容因而具有较高的舆论属性或者社会动员能力，属于高敏感高风险的算法服务技术。” 张凌寒说。

张凌寒进一步解释道，风险分级分类是治理的关键一步。“欧盟《人工智能法案》就采取了风险分级的办法，相比于欧盟、美国，我们需要走出中国特色的人工智能立法之路，适应中国的本土制度。”

张凌寒介绍，目前我国存在多种分级分类标准，主要包括数据、算法、主体、场景等维度。四类分级分类标准，职责互相交叉，边界不尽清晰。以算法分级分类为例，一是我国以部门职能作为分类标准，“具有舆论属性或者社会动员能力”的算法均需履行事前安全评估、备案等程序，算法种类繁多，基本涵盖了现有的算法服务；二是《算法推荐管理规定》中的算法分级分类安全管理制度，结合数据维度（如数据重要程度）和主体维度（如用户规模）进行制度设计，但不同分级分类标准如何厘清各自职能和边界，以及各标准之间如何衔接，需要进一步出台规范予以调整。

张凌寒表示，人工智能模型训练的目的是为了获得“能力”，这与既有法律制度中的信息内容监管、以风险为导向的分级分类治理的监管目标有所不同。未来的分级分类应该以“能力+场景”作为标准。