2017年，那位名为“deepfakes”的用户在发布合成视频的时候，也许没想到自己打开了潘多拉魔盒。DeepFake技术野蛮生长到今天，已经让各大公司和监管部门都无可奈何，只能想尽办法把它再关进笼子。前不久，谷歌刚刚禁止了其Colaboratory（Colab）服务上的Deepfake项目，以免被滥用于不法活动；微软研究院在 2020 年推出 Microsoft Video Authenticator 检测技术，检测视频是否使用了 deepfake；Meta 在还没改名之前就宣布在自家产品平台全面禁止 deepfake 类视频……
不过据领域内一些内幕人士表示，那些最顶级的，将 deepfake 当作一门生意的专业制作者，已经基本实现了完全“自主生产”。所以，这些打击行为并不能阻止 deepfake 的滥用，尤其是在有利可图时。
6月28日，FBI 发布公告，提醒公众警惕有人用偷来的个人身份信息（PII）和 deepfake 技术假冒成其他人去远程求职、面试。
之所以会有这样的警告，是因为FBI 互联网犯罪投诉中心 (IC3)最近收到了越来越多关于用 deepfake 和被盗个人身份信息申请远程工作/在家办公职位的投诉。这些职位很多与信息技术、计算机编程、数据库以及软件相关，且工作中可以访问客户的身份信息、财务数据、公司IT数据库以及其他专有信息。
如果这些“诈骗犯”成功入职，那么一段时间之后，可能就会有某公司被社工、大量信息遭泄露的新闻出现。也有可能全公司遭到钓鱼攻击或者勒索。如果是掌握大量机密信息的企业，还有可能成为APT攻击的目标；到时候的后果，恐怕比某狐遭遇的钓鱼攻击要严重得多。
用 deepfake 进行诈骗的案件在前几年已经发生过。2019年9月，罪犯使用语音模仿软件模仿英国一家能源公司的高管讲话，让公司的执行董事相信自己正在跟老板讲电话，然后下令将超过24万美元汇入骗子指定的账户。这几年，利用电话会议、视频网站、社交媒体等渠道获取企业高管音频进行训练，继而复制声音、制作假音频、诱导财务部门员工紧急付款的诈骗，也上过几次新闻。
2020年，领英的一位招聘人员曝出面试者「借助外部设备换脸」；2022年4月，同样是领英上出现了一大批顶着“假脸”的销售人员；5月，有面试官发现有朝鲜人冒充美国公民面试一些加密货币和Web3公司，不知只为诈骗还是为了盗取技术或者有其他行动，美国财政部和FBI也为此出了一份警告，提醒科技公司注意这样的诈骗。
DeepFake 发展简史
虽然第一段 deepfake 视频在 2017 年才出现，但deepfake 所依赖的技术，在 2014 年就已经诞生。2014年，GAN之父 Ian Goodfellow 与同事发表了全球首篇介绍 GAN 的科学论文，带动了业界对 GAN 的研究。2015 - 2016年，研究人员将GAN与CNN结合，生成了较为可信的假脸。不过在当时，那些生成的人脸还是一眼假，有很多问题。2017年，英伟达的研究人员发现，可以通过分阶段训练网络的方式，一步步为 GAN 引入高分辨率生成能力，让生成的人脸开始真假难辨。到2017年秋季，第一个以 deepfakes 命名的换脸视频出现，让 deepfake 成为了 AI 生成图像和视频的代名词。随后，大量换脸的色情视频在网上出现。
2018 年，GAN的控制能力进一步提升，能够将训练图像中的特征有针对性地转移到 AI 生成图像当中（也叫“风格转移”），可以调整表情、发色等。此时，deepfake 伪造的色情内容已经被各大平台封杀，开始用于魔改政治名人、明星大牌……
你能看出每排图片之间的差别吗？
2019年，多家公司推出更逼真、易用的 deepfake 工具，网上的 deepfakes 视频也在成倍增长。伪造的视频传播速度之快令人颇感担忧，美国国土安全部对deepfake 技术的安全性发表质疑，认为“使用该技术骚扰或伤害他人利益的现象应当引起公众重视”。随后，Twitter 成为首个针对 deepfakes 采取禁止措施的社交平台。2019 - 2020 年，谷歌、meta、微软等企业也纷纷跟上……监管机构、 AI 和法律领域的专家都在奔走呼吁，希望能针对 deepfake 技术制定相关法规。
2020 年至今，deepfake 技术并未停下发展的脚步，微软推出的 FaceShifter 已经能够利用模糊的原始图片，生成高度可信的 deepfake 图像。而娱乐巨头迪士尼也为了电影制作开发了一套百万像素级的 deepfake 工具，期望取代传统特效制作方法，提高特效制作效率。而随后征服全网的的 Wombo AI 应用、英伟达推出的Alias-Free GAN、DeepFaceLab 推出的 DeepFaceLive 等，都提醒着人们 deepfake 技术的进步。俄乌战争期间，乌克兰总统泽连斯基呼吁国内人民放下武器的伪造视频引爆全网，让总统本人都出来辟谣，再一次引起了人们对于 deepfake 的讨论与担忧。
DeepFake 何去何从？
在 FBI 的警告中，虽然 deepfake 伪造的视频比较逼真，不过还没到完美无瑕的程度。在面试过程中，不正常的眨眼睛、皮肤或头发周围不自然的纹理、不正常的光线等，都可以用于识别视频的真假。另外，面试者在镜头前的动作、嘴唇的开合与发出的声音并不协调，咳嗽、打喷嚏等动作也并不能与实际看到的动作一致。所以，在超过 10s 的视频画面中，发现这些破绽，也并不难。但是，人工识别的效率始终有限。目前，识别 deepfake 视频的技术也还未成熟。2022年 3 月卡内基梅隆大学研究发现，目前常见的识别 deepfake 技术的应用准确度在 30%-97% 之间浮动，很难有一个特别可靠的选择。
鉴于如今信息泄露的情况以及技术的发展情况，也许最后再精密的 deepfake 检测算法都无法识别最新的深度伪造结果。Deepfake 专家 Hao Li 认为这种猜测绝非杞人忧天，毕竟图像的实质不过是辅以适当颜色的像素——AI 找到完美的排布方法将只是时间问题。未来在国家或地区之间的对抗当中、在企业的商业博弈当中，也许会更频繁出现 deepfake 的身影，这才是 FBI 频频警告的原因。
此外，短视频盛行的当下，伪造图像和视频已经在各个平台出现，渗透进了我们的生活。以往，人类曾经在没有视频和照片的黑暗年代下摸索出获取信息、形成意见的方法，但这扇通往光明的大门似乎正在被新兴技术所埋葬。正如 GAN 之父 Ian Goodfellow 的感叹，“从这个角度来看，AI 也许正在‘蒙蔽’我们这一代人观察世界的双眼。”
参考来源：
为了把 deepfake 关进笼子里，不只是企业在努力，业界也举办了很多场检测AI造假的比赛，期望能鼓励研究人员研究出更与时俱进、准确率更高的检测技术。同时，监管部门也在发力。
我国在 2020 年印发的**《法治社会建设实施纲要（2020 - 2025年）》进一步要求，对深度伪造等新技术应用，制定和完善规范管理办法。2022年发布的《互联网信息服务深度合成管理规定（征求意见稿）》**第六条对深度合成技术划出了明确的禁区，该条规定：" 任何组织和个人不得利用深度合成服务从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动，不得制作、复制、发布、传播含有煽动颠覆国家政权、危害国家安全和社会稳定、淫秽色情、虚假信息，以及侵害他人名誉权、肖像权、隐私权、知识产权和其他合法权益等法律法规禁止内容的信息。"
此外，我国目前直接涉及深度合成技术的法律、法规、规范性文件和指导意见还有**《民法典》第 1019 条、1023 条、1033 条 ;《关于进一步规范网络视听节目传播秩序的通知》;《网络音视频信息服务管理规定》;《网络信息内容生态治理规定》;《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》;《互联网信息服务算法推荐管理规定》**等。
GeekPwn 国际安全极客大赛积极推动各领域的网络安全发展、鼓励前沿技术的安全创新，以可视化舞台形式展现极客技术、促进提升大众安全意识。九年来，GeekPwn见证了数千名参赛选手的成长，负责任地披露了1000多个安全漏洞。2022年，GeekPwn将继续记录极客故事、见证极客力量。
GeekPwn 2022
8月24日项目提交截止
以极客之名
马上“极”结
赛事咨询
Email: cfp@geekpwn.org
WeChat: l2986165514
分享收藏点赞在看
