IT思维

公众号/AI财经社

撰文 /   唐煜

编辑 /   赵艳秋

眼见不再为实

最近，一位接近警方的技术专家王乔告诉AI财经社，国内已经有犯罪团伙利用一种名为Deepfake的人工智能变脸技术进行诈骗，具体细节不宜透露。而今年以来，随着朱茵变杨幂AI换脸视频在社交网络上广泛传播，人们对Deepfake这项技术已经有所耳闻了，但需要警惕的是，它已经不再是恶作剧这么简单了。  

即便并没有大规模爆发，王乔仍用“可怕”来形容Deepfake。“一个围绕眼见为实建构的社会体系正在受到挑战。”他说，这项技术最大的杀伤力在于诱发社会信任危机。比如，在重大社会事件中，Deepfake可能被用来伪造国家领导人和政府机构发言、甚至是司法证据、经济情报，从而激化社会矛盾和造成内乱。从2018年开始，他所在的机构已经专门针对Deepfake带来的安全隐患进行技术、法律和伦理上的研究。

时间回到2017年，也许没人能料到，这项原本用来拼接色情片的AI技术在短短两年间，产生如此大的破坏力。当年，一位名叫“Deepfake”的用户在Reddit论坛上传多段色情视频，将欧美女明星的脸合成到色情片中，引发热烈讨论，不少人亲自动手DIY。随后，局势愈演愈烈，Reddit 封掉了这个账号以及相关群组，Google、Twitter等网站禁止相关的搜索，一些色情片网站也封禁了这些视频。

但这并没能让Deepfake消失，由于始作俑者将技术开源了，如同火种一般，Deepfake迅速在互联网世界生根发芽。一年之后，它已经从码农才能看懂的开源代码，变成了一个人人都可下载使用的名为Fake App的应用程序。用户自行寻找训练神经网络的素材后，只需要在一台包含英伟达GPU的个人电脑、3GB~4GB的存储空间，就能生成换脸视频。

技术门槛降低的同时，变脸效果也从早期的脸型不匹配、表情僵硬到越来越能够以假乱真。甚至，Deepfake的波及范围也从影视娱乐圈蔓延到政坛。

2018年，一段美国前总统奥巴马吐槽特朗普是笨蛋的假视频在twitter上走红。创作者先是找到一段奥巴马的演讲视频，将自己的嘴硬生生搬到奥巴马脸上，后面的好戏就交给Adobe AE和FakeApp了。一开始，整合出来的东西像整容失败现场，但经过56小时的指导训练，他的嘴部动作和奥巴马的脸融合得越来越自然。最终，假视频让奥巴马说出了那句话：President Trump is total and complete dipshit（川普总统完全就是个笨蛋）。

图/图虫创意

王乔说，正是这场恶作剧让国内开始重视Deepfake的威力。事实上，今年以来，美国不少政界人士已经深受其害。6月，美国众议院情报委员会就Deepfake技术举行了首次听证会，认为这些视频如果被用来捏造假新闻，会对2020年的美国总统大选产生灾难性影响。甚至，最近美国民主党全国委员会建议，竞选工作人员和民主党人如果使用FaceApp，建议立即停用并删除。

Deepfake也将成为埋伏在普通人生活中的一枚定时炸弹，未来我们和家人朋友视频聊天的时候，可能还得发明一套验证彼此身份的接头暗语。

技术对女性的恶意则越来越脱离底线。比如近日被永久下架的AI一件脱衣应用“DeepNude”，只要给它一张女性照片，就可以自动“脱掉”女性身上的衣服，显现出裸体。还有国内一位程序员打着保护老实人的口号，声称开发出一款名为“原谅宝”的人脸识别App，可以帮助鉴别“行为不端”女性，遭到舆论讨伐后，有两位计算机博士和这位程序员沟通后发现，原谅宝在数据获取和模型理论上存在缺陷，根本就是一场收割智商税的技术炒作。

但就算一个DeepNude 死去，一个原谅宝流产，还有若干项变脸技术正躲在暗处作恶，或者正在破壳而出的路上。这是每个人都要面对的威胁。未来每一次上传到微博、抖音、朋友圈的自拍小视频，也许某天就让你就成了某部色情片的主角。国外有用户在社交网络上称，自己从高中女同学的 Facebook 和 Instagram 上搜集到约 380 张照片，随后制作出了质量不错的视频。

这正如Deepfake色情片受害者、好莱坞女星斯嘉丽·约翰逊所说：“人们认为密码可以保护他们，只有公众人物才有被黑的风险。殊不知，对黑客来说，攻击谁并没有太大差别，这只取决于 ta 想不想攻击你。”

假视频终将攻陷世界？

我们能够抵御这些假视频带来的伤害吗？答案可能是令人沮丧的。

AI进步的速度永远超过我们的想象。归功于2014年深度学习技术生成式对抗网络（GAN）的诞生，在Deepfake因为小黄片一炮而红之前，2016年，德国的研究团队就发布了一项名为Face2Face的实时换脸模型。随后，Face2Face进化成为了“Headon”，从变脸到能假装你在说话和移动。

最近，斯坦福大学、德国马克斯普朗克信息学院、普林斯顿大学和 Adobe 研究院共同研究了一种新的Deepfake形式：可以在一句话中增加、删掉甚至是修改任意词句，让视频中的演讲者说出任意想说的话，看不出任何修改的痕迹。他们进行了一项调研，59.6%的观看者认为被这项技术编辑过的视频是真实的视频，甚至有20%的观看者认为未经编辑过的视频是假的。

制造一段假视频，通常需要大量的图像数据，但最近三星人工智能中心又研发出一项新技术，只需要一张照片，加上一段音频，就能让爱因斯坦张嘴演讲，让百年以前就去世的人大唱歌手碧昂斯的歌曲。

这些都在警告我们，假视频终将攻陷世界，眼见耳听都可能不再为实。

全世界的科学家们在着手研究相关的防御技术，比如通过检测眨眼次数、呼吸、眼球运动等只有人体才会展现的生理运动来判断。但王乔说，随着研究的不断深入，Deepfake算法也在不断地升级，每一次检测的瑕疵可能就成为下一次升级的工具，像抗生素一样，产生耐药性。“如果不是技术专家或者专业的检测技术，普通人基本很难看出破绽。”

不仅是人眼，Deepfake也有可能骗过系统。今年初，来自瑞士Idiap研究院的两位科学家尝试使用AI技术来检测DeepFake效果。结果让人震惊。两位科学家首先使用了分别基于VGG模型和Facenet算法的前沿人脸识别系统，对320段DeepFake视频进行判断。结果显示，AI判断的错误率高达95%。尤其是基于HQ模型生成的DeepFake视频，即便是面对IQM+SVM结合下的人脸识别系统，HQ DeepFake仍然有9.05%的几率骗过系统。

当然，没有任何一项技术生来就是“恶”的。Deepfake可以被用来制造假新闻和色情片，也可以用来合成主播和造福影视圈。其实变脸这件事，在影视圈并不新鲜，最著名的例子是，拍摄《速度与激情7》时，主演保罗·沃克不幸因车祸去世，后续的视频就是通过相关的变脸技术完成的。

之前，这样的变脸通常耗时长，价格昂贵，是好莱坞大片才能享受的特权。试想如果有了Deepfake，很多念错台词或者漏拍的场景，不用再花大价钱重拍，流量小生演技不过关也不用一直喊Cut，变一下脸，秒变老戏骨。再比如去年的北京春晚，浙江卫视某综艺的剪辑师花了3天3夜才把吴秀波的镜头剪没，如果当时北京卫视能用上Deepfake，又解放了一大批影视圈民工。

甚至很多人幻想，未来Deepfake能帮助普通人复活逝去的爱人。

2013年播出的英剧《黑镜》曾预言了这样的场景，女主人公的丈夫不幸去世，悲痛欲绝中，她发现了一款可以根据人生前社交网络记录模拟真人的AI软件，能再现丈夫的声音，和他打电话谈天。再后来，她把丈夫生前所有的视频输入电脑里，甚至得到一个以他模样定制的仿生人。

这背后又是层出不穷的伦理问题，毕竟机器取代不了真实的人性和情感，这种永生最后让女主人饱受折磨。但如果是用来“复活”那些人们喜爱的与世长辞的人，则是令人期待的。

鉴于Deepfake“毁誉参半”名声，国内头部几家AI创业公司都不太愿意与之扯上关系，即便就技术问题，也都婉拒了采访。

丰元创投合伙人朱会灿曾是谷歌图片搜索创始人，他曾看过几个deepfake变脸视频，对以假乱真的效果感到很惊讶。“到底AI是让生活更美好，还是更坏了呢？”在AI快速发展的时代，朱会灿说，投资人要有自己的底线，不要投那些虽然挣钱但没有给社会带来太大效益的项目。

小米集团副总裁崔宝秋对AI财经社说，技术演进是没问题的，很多情况下人们需要拟人化的声音视频。但是技术永远是双刃剑，它可以用在模拟合成主播上，也可能被用于欺诈和侵犯人的隐私上，国家和政府要关注，企业和技术人员也要重视。

科技向善前夜

也许混乱是科技进步必经的阵痛。如何引导科技向善，一直是个矛盾的命题，如果管制过度，会束缚AI行业的发展，但如果不管，又会引发可能的作恶和犯罪。如何对待这些假视频AI技术，各国都还在探索中。

今年6月初，美国众议院议长南希·佩洛西（Nancy Pelosi）的一段视频曾在各大社交媒体上广泛流传。视频中，佩洛西如同喝醉了一般，神志不清，说话磕磕巴巴，举止奇怪。这段视频甚至引来了美国总统特朗普的嘲讽。被揭露是假视频后，除了Google旗下的YouTube之外、Facebook、Twitter和Instagram都拒绝删除相关视频，认为这是个体的表达自由，他们的做法是，在视频上打上标签，提醒用户这是假视频，而且承诺会降低推送的比重。

因为不肯删视频，扎克伯格也被人用Deepfake恶搞了一回。假视频中，他侃侃而谈，说自己掌握着偷窃而来的亿万人的数据，还有他们的秘密、生活和未来。虽然火烧到自己身上，扎克伯克仍坚持保留这段视频。他在6月末透露，Facebook正在制定一项监管政策，对技术进行规范。

相关的法律也已经推出。7月1日，美国弗吉尼亚州正式扩大其色情禁令，这其中就涵盖了利用Deepfake制作的小黄片。根据禁令，无论是真实还是合成的，未经许可分享任何人的裸照和视频都是违法的，最高可判12个月的监禁，罚款额高达2500美元。

今年4月，我国《民法典人格权编(草案)》里加了一条：任何组织和个人不得以利用信息技术手段伪造的方式侵害他人的肖像权。草案的第八百零三条也被修改为：其他人格权的许可使用和自然人声音的保护，参照适用本章的有关规定。

这意味着，当《民法典》正式实行后，在未经得别人的同意下，不仅不能用PS、换脸程序Deepfake、鬼畜等各种方式任意换脸，声音也不能随便合成。

王乔说，他们给有关部门提了三点建议，一是希望把变脸视频的传播参照网络安全法进行控制，遵循谁传播谁负责的原则；二是参照对暴恐视频的管理办法，对深度伪造技术的开发要实行管制，比如要通过行政审批后才能去研发；三是对视频制作进行管理，所有用Deepfake技术制造的视频，一定要打上水印，就像很多视频加上“本故事纯属虚构”字幕一样。

王乔看到一份报告显示，因为开源，Deepfake使用的门槛会越来越低，到2023年可能将在全球实现技术井喷。他说，如果不是威胁到安全，大家对技术的管制还是比较迟钝，目前中国在这方面也处于刚起步的阶段。

不仅人性，法律和社交平台，Deepfake也对开源世界提出了挑战。今年2月，被誉为深度学习“三驾马车”之一的Yann LeCun 也在Twitter 上提问：“讲真，要是当初知道卷积神经网络 (CNN) 会催生 Deepfake，我们还要不要把CNN开源呢？”LeCun 说，(CNN) 被用于比如医疗影像、汽车安全等各种各样的应用，它们对世界起到了积极影响，但是有的应用却被用来侵犯隐私，成为一种进攻性武器。

今年2月开始，不少网友发现，程序员代码托管平台GitHub上的Deepfake源代码疑遭和谐，在未登陆的情况下进入DeepFake的代码仓库，会被提示处在审核状态。过去，这种情况只发生在那些涉及政府敏感信息的开源项目。业界提出，AI 研究发表和模型开源，也许到需要一个规范的时候。

华为开源软件与系统首席架构师侯培新对AI财经社说，开源总体给产业界带来非常大的好处，不能因噎废食，但瑕疵也必须要解决，作为代码托管平台，过去GitHub一直像个永远保持中立态度的框，往里面装垃圾还是珠宝都是开发者的事。随着AI技术的影响力不断在扩大，一些专门的检查是GitHub应该考虑的。他认为，目前大的互联网公司未必会主动去研究反Deepfake技术，但至少可以先从自家旗下的产品做起，比如腾讯要防御Deepfake如何不在微信平台上作恶。

图/视觉中国

在侯培新看来，媒体和政府向大众普及Deepfake这项技术也同样重要。就像“315晚会”曝光后，现在大家接起一个推销诈骗电话，会有意识去判断电话那头是真人还是AI，如果大家事先知道有这样的变脸技术，未来也会有意识地去辨别，造成的伤害可能就会变小。

注：王乔为化名