AI深度造假正在打开潘多拉魔盒？

自开年以来，ChatGPT以及其他相关的AI技术火爆出圈，企业们纷纷追逐上车，各种基于AI的创业公司也如雨后春笋般涌现。

据媒体报道，仅在3月份就有近10款AI视频生成器诞生。当AI让虚拟形象、虚拟世界的实现变得更为简单，由此也带来了更多的隐忧，利用AI工具进行诈骗的事情，或许正在发生。

你能分辨出人类的真假吗？

2022年，一位60多岁大妈迷恋男星靳东的新闻传遍全网。

据媒体报道，为了追星她不惜跟家人闹翻，还与丈夫分居，并自称“靳东”已向其告白，还要给她百万为她买房。但事实上，上述女士所看到的靳东只是个冒牌货，所谓的视频是短视频账号从靳东平时的采访中东拼西凑，再加上字幕、配音剪辑而成。 南平新闻网

这并非恶搞视频，背后其实是一场大型骗局，在取得大妈的信任后，骗子就会开始想办法骗取其钱财。

开年火出圈的ChatGPT和相关的AI技术，让人类虚拟化的形象变得越来越逼真。不久前，B站UP主吴伍六就用AI工具导入了奶奶生前的照片，制作出了奶奶的动态头像，又将奶奶生前的通话音频导入AI，训练AI模拟出奶奶的声音和语气，生成了奶奶的虚拟数字人，并和奶奶进行了对话。

据他介绍，以目前AI的技术水平，只要样本足够多，面容、声音、语气这些都可以达到相似度90%以上。

财经网科技留意到，当前网络上流传着“特朗普被抓”“农户开始养殖恐龙”等图片，若不是因为内容委实荒诞，其实很难辨清真伪。在各个社交平台上，也有很多账号发布虚拟美女照片、视频，短短时间获得大量点赞。 淮南新闻网

“如果不是博主说明了是虚拟人，有的真的怀疑是真人。”林晨告诉财经网科技，在社交平台上，有很多人被虚拟人的形象所吸引，甚至愿意与其发生恋爱关系，称之为老婆、闺蜜等。“如果不知道对方是虚拟人，有人用AI在交友软件，或者是其他渠道进行诈骗的话，其实是很可怕的。”

AI技术带来更多隐忧

输入几个关键字就能获得一段文字、一张图片甚至一个视频，科技展现了其魅力，也在某种程度上帮助人们达成了一些愿望。吴伍六介绍自己发布AI奶奶的初衷，只是希望用AI技术填补与奶奶没有好好告别的遗憾。希望大家珍惜当下，现实的陪伴永远是最重要的。 青岛健康网

不过，企业为了追逐风口推出的产品良莠不齐，一些人也利用产品生成各种虚假内容，为社会带来了隐忧。例如，用AI生成去世的奶奶这件事就引起了广泛争议，不少网友担心AI被用在不法用途上。

此前，就有人利用AI发布了一张名为女仆之夜：金鸡湖游艇PARTY的海报，这场派对门票为3000元一位，可选一位专属女仆游艇陪玩，更重要的是附带了43张女仆照片供选择。

此后，网友扒出照片为AI生成，并报警处理，这也是国内首例使用AI绘画的诈骗案。

此前，新华视点曾报道，2022年2月，陈先生报案称自己被“好友”诈骗了近5万元，经警方核实，其好友“阿诚”在社交平台发布的视频，为截取面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。 经济新闻网

可以预见，AI冒充领导、熟人诈骗，AI冒充公检法诈骗，AI冒充电商客服诈骗，AI征婚交友诈骗等种种诈骗有一天可能都会出现。

在全联并购公会信用管理委员会专家安光勇看来，AI深度造假可能会带来政治、经济、社会、个人隐私、冲击道德体系等多方面的风险。例如，虚假的商业信息可能导致企业蒙受经济损失；利用个人的影像和信息进行虚假宣传和欺骗，从而侵犯个人隐私权利。

上海兰迪律师事务所赵天骄律师认为，AI深度造假在知识咨询及辅助决策类的应用方面，会误导使用者，使其将错误的信息信以为真，给个人和机构的财产损失，甚至危及个人的生命健康安全；在反安全防护应用方面，会绕过目前通用的基于人类生物属性的安全性认证，造成权限管理混乱、机密泄露、财产损失等不良后果；在内容生产方面，会造成如涉嫌学术造假，则扰乱现有评价机制，数据源盗用他人未公开作品生成内容并谎称为作者，则可能形成知产保护规则的滥用等问题。 社会新闻网

AI时代诈骗应如何监管

随着AI的应用越来越广泛，诸多问题开始显现，首当其冲的就是内容真实性。据证券时报观点，AI作为工具并不具备判断力，其生成的结果是基于数据投喂和算力养成的综合产物，那么，这些数据是否真实合法，直接决定了AI是否能大规模应用。

日前，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称《征求意见稿》），向社会征求意见。《征求意见稿》第七条“提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责”中表示，“能够保证数据的真实性、准确性、客观性、多样性”。 法制新闻网

这意味着AIGC的研发平台要保证投喂数据的真实可靠，还要对生成的内容负责。深度科技研究院院长张孝荣对财经网科技指出，AI Alignment（人工智能对齐）是AI控制中的主要问题，即要求AI系统的目标和人类的价值观与意图保持一致。但是，人类社会价值观和道德观念千差万别，平台很难实现完美对齐，也很难保证内容的绝对真实性。

上海兰迪律师事务所丁学明律师指出AIGC的使用过程包括数据源-算法训练-部署应用-内容发布等几个不同的阶段。在数据源选择方面，目前AIGC可对其来源进行登记备案，但无法对来源数据库所有内容真实性进行实质核验；在算法训练方面，目前AIGC的大多数算法设计并不包括真实性鉴别方面的功能。 吉林社区新闻网

他还指出，在部署应用方面，对于调用其他AIGC技术开发商所提供节接口的应用平台而言，可以基于使用评价反馈对AIGC技术产品/模型进行拣选，但在未强制开源的背景下，难以对于AIGC技术所输出内容的真实性进行算法和数据源层面的控制；在内容发布方面，AIGC对于使用者基于人工智能生成内容进行的“再次加工”难以限制，且二者难以区分。

萨摩耶云科技集团首席经济学家郑磊则指出，为了防范有人利用AI造假，已经出现了检测和识别AI产生内容，以区别人类产生的内容。AI产生内容与人类产生内容高度相似，为人们判断和甄别信息的真实性带来了很大困难。

他进一步解释，未来消息来源可靠性变得更重要，人们必须要养成验证和确认信息的习惯，这导致沟通成本增加，也是AI发展中出现的新挑战。“造假和反造假都需要AI技术的支持，随着技术的发展，防范AI深度造假是有可能的。” 蚌埠新闻网

面对未来可能打开的“恶”的潘多拉盒子，应该如何进行监管？北京社科院研究员王鹏建议，要从多元化方法出发，第一，从技术上要研发反造假技术；第二，监管部门、人民群众发现相关情况要及时举报，并建立奖惩机制；第三，让企业承担社会责任感，形成自立组织；最后，号召众人利用人工智能善的一面对生活降本增效，而非用恶的一面去破坏。

编辑：蒋菁