2017年,那位名为“deepfakes”的用户在发布合成视频的时候,也许没想到自己打开了潘多拉魔盒。DeepFake技术野蛮生长到今天,已经让各大公司和监管部门都无可奈何,只能想尽办法把它再关进笼子。前不久,谷歌刚刚禁止了其Colaboratory(Colab)服务上的Deepfake项目,以免被滥用于不法活动;微软研究院在 2020 年推出 Microsoft Video Authenticator 检测技术,检测视频是否使用了 deepfake;Meta 在还没改名之前就宣布在自家产品平台全面禁止 deepfake 类视频……
不过据领域内一些内幕人士表示,那些最顶级的,将 deepfake 当作一门生意的专业制作者,已经基本实现了完全“自主生产”。所以,这些打击行为并不能阻止 deepfake 的滥用,尤其是在有利可图时。
6月28日,FBI 发布公告,提醒公众警惕有人用偷来的个人身份信息(PII)和 deepfake 技术假冒成其他人去远程求职、面试。
之所以会有这样的警告,是因为FBI 互联网犯罪投诉中心 (IC3)最近收到了越来越多关于用 deepfake 和被盗个人身份信息申请远程工作/在家办公职位的投诉。这些职位很多与信息技术、计算机编程、数据库以及软件相关,且工作中可以访问客户的身份信息、财务数据、公司IT数据库以及其他专有信息。
如果这些“诈骗犯”成功入职,那么一段时间之后,可能就会有某公司被社工、大量信息遭泄露的新闻出现。也有可能全公司遭到钓鱼攻击或者勒索。如果是掌握大量机密信息的企业,还有可能成为APT攻击的目标;到时候的后果,恐怕比某狐遭遇的钓鱼攻击要严重得多。
用 deepfake 进行诈骗的案件在前几年已经发生过。2019年9月,罪犯使用语音模仿软件模仿英国一家能源公司的高管讲话,让公司的执行董事相信自己正在跟老板讲电话,然后下令将超过24万美元汇入骗子指定的账户。这几年,利用电话会议、视频网站、社交媒体等渠道获取企业高管音频进行训练,继而复制声音、制作假音频、诱导财务部门员工紧急付款的诈骗,也上过几次新闻。
2020年,领英的一位招聘人员曝出面试者「借助外部设备换脸」;2022年4月,同样是领英上出现了一大批顶着“假脸”的销售人员;5月,有面试官发现有朝鲜人冒充美国公民面试一些加密货币和Web3公司,不知只为诈骗还是为了盗取技术或者有其他行动,美国财政部和FBI也为此出了一份警告,提醒科技公司注意这样的诈骗。
DeepFake 发展简史
虽然第一段 deepfake 视频在 2017 年才出现,但deepfake 所依赖的技术,在 2014 年就已经诞生。2014年,GAN之父 Ian Goodfellow 与同事发表了全球首篇介绍 GAN 的科学论文,带动了业界对 GAN 的研究。2015 - 2016年,研究人员将GAN与CNN结合,生成了较为可信的假脸。不过在当时,那些生成的人脸还是一眼假,有很多问题。2017年,英伟达的研究人员发现,可以通过分阶段训练网络的方式,一步步为 GAN 引入高分辨率生成能力,让生成的人脸开始真假难辨。到2017年秋季,第一个以 deepfakes 命名的换脸视频出现,让 deepfake 成为了 AI 生成图像和视频的代名词。随后,大量换脸的色情视频在网上出现。
2018 年,GAN的控制能力进一步提升,能够将训练图像中的特征有针对性地转移到 AI 生成图像当中(也叫“风格转移”),可以调整表情、发色等。此时,deepfake 伪造的色情内容已经被各大平台封杀,开始用于魔改政治名人、明星大牌……
你能看出每排图片之间的差别吗?
2019年,多家公司推出更逼真、易用的 deepfake 工具,网上的 deepfakes 视频也在成倍增长。伪造的视频传播速度之快令人颇感担忧,美国国土安全部对deepfake 技术的安全性发表质疑,认为“使用该技术骚扰或伤害他人利益的现象应当引起公众重视”。随后,Twitter 成为首个针对 deepfakes 采取禁止措施的社交平台。2019 - 2020 年,谷歌、meta、微软等企业也纷纷跟上……监管机构、 AI 和法律领域的专家都在奔走呼吁,希望能针对 deepfake 技术制定相关法规。
2020 年至今,deepfake 技术并未停下发展的脚步,微软推出的 FaceShifter 已经能够利用模糊的原始图片,生成高度可信的 deepfake 图像。而娱乐巨头迪士尼也为了电影制作开发了一套百万像素级的 deepfake 工具,期望取代传统特效制作方法,提高特效制作效率。而随后征服全网的的 Wombo AI 应用、英伟达推出的Alias-Free GAN、DeepFaceLab 推出的 DeepFaceLive 等,都提醒着人们 deepfake 技术的进步。俄乌战争期间,乌克兰总统泽连斯基呼吁国内人民放下武器的伪造视频引爆全网,让总统本人都出来辟谣,再一次引起了人们对于 deepfake 的讨论与担忧。
DeepFake 何去何从?
在 FBI 的警告中,虽然 deepfake 伪造的视频比较逼真,不过还没到完美无瑕的程度。在面试过程中,不正常的眨眼睛、皮肤或头发周围不自然的纹理、不正常的光线等,都可以用于识别视频的真假。另外,面试者在镜头前的动作、嘴唇的开合与发出的声音并不协调,咳嗽、打喷嚏等动作也并不能与实际看到的动作一致。所以,在超过 10s 的视频画面中,发现这些破绽,也并不难。但是,人工识别的效率始终有限。目前,识别 deepfake 视频的技术也还未成熟。2022年 3 月卡内基梅隆大学研究发现,目前常见的识别 deepfake 技术的应用准确度在 30%-97% 之间浮动,很难有一个特别可靠的选择。
鉴于如今信息泄露的情况以及技术的发展情况,也许最后再精密的 deepfake 检测算法都无法识别最新的深度伪造结果。Deepfake 专家 Hao Li 认为这种猜测绝非杞人忧天,毕竟图像的实质不过是辅以适当颜色的像素——AI 找到完美的排布方法将只是时间问题。未来在国家或地区之间的对抗当中、在企业的商业博弈当中,也许会更频繁出现 deepfake 的身影,这才是 FBI 频频警告的原因。
此外,短视频盛行的当下,伪造图像和视频已经在各个平台出现,渗透进了我们的生活。以往,人类曾经在没有视频和照片的黑暗年代下摸索出获取信息、形成意见的方法,但这扇通往光明的大门似乎正在被新兴技术所埋葬。正如 GAN 之父 Ian Goodfellow 的感叹,“从这个角度来看,AI 也许正在‘蒙蔽’我们这一代人观察世界的双眼。”
参考来源:
为了把 deepfake 关进笼子里,不只是企业在努力,业界也举办了很多场检测AI造假的比赛,期望能鼓励研究人员研究出更与时俱进、准确率更高的检测技术。同时,监管部门也在发力。
我国在 2020 年印发的**《法治社会建设实施纲要(2020 - 2025年)》进一步要求,对深度伪造等新技术应用,制定和完善规范管理办法。2022年发布的《互联网信息服务深度合成管理规定(征求意见稿)》**第六条对深度合成技术划出了明确的禁区,该条规定:" 任何组织和个人不得利用深度合成服务从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动,不得制作、复制、发布、传播含有煽动颠覆国家政权、危害国家安全和社会稳定、淫秽色情、虚假信息,以及侵害他人名誉权、肖像权、隐私权、知识产权和其他合法权益等法律法规禁止内容的信息。"
此外,我国目前直接涉及深度合成技术的法律、法规、规范性文件和指导意见还有**《民法典》第 1019 条、1023 条、1033 条 ;《关于进一步规范网络视听节目传播秩序的通知》;《网络音视频信息服务管理规定》;《网络信息内容生态治理规定》;《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》;《互联网信息服务算法推荐管理规定》**等。
GeekPwn 国际安全极客大赛积极推动各领域的网络安全发展、鼓励前沿技术的安全创新,以可视化舞台形式展现极客技术、促进提升大众安全意识。九年来,GeekPwn见证了数千名参赛选手的成长,负责任地披露了1000多个安全漏洞。2022年,GeekPwn将继续记录极客故事、见证极客力量。
GeekPwn 2022
8月24日项目提交截止
以极客之名
马上“极”结
赛事咨询
Email: cfp@geekpwn.org
WeChat: l2986165514
分享收藏点赞在看