智东西（大众号：zhidxcom）
编 | 董温淑
智东西4月20日音讯，AI换脸已不是新鲜事，手机运用商场中有多款换脸app，此前也曾曝出有网络IP用明星的面孔假造色情影片、在大选期间用竞选者的脸制造虚伪印象信息等。
为了躲避Deepfake乱用带来的恶性成果，许多研讨者尝试用AI技能开发判定分类器。
但是，谷歌公司和加州大学伯克利分校的研讨人员最近的研讨显现，现在的判定技能水平还不足以100%甄别出AI换脸著作。另一项由加州大学圣地亚哥分校主导的研讨也得出了相同定论。
这些研讨成果为咱们敲响了警钟，要警觉AI换脸制造的虚伪信息。
现在谷歌和加州大学伯克利分校的研讨现已宣布在学术网站arXiv上，论文标题为《用白盒、黑盒进犯绕过Deepfake图画辨别东西（Evading Deepfake-Image Detectors with White- and Black-Box Attacks）》
论文链接：https://arxiv.org/pdf/2004.00622.pdf
一、试验预备：练习3种分类器，设置对照组
完成AI换脸的技能被称为Deepfake，原理是依据生成对立网络（generative adversarial networks，GAN）组成虚伪图片。GAN由一个生成网络和一个判别网络组成。
GAN模型的学习进程便是生成网络和判别网络的彼此博弈的进程：生成网络随机组成一张图片，让判别网络判别这张图片的真假，继而依据判别网络给出的反应逐渐的提高“造假”才能，终究做到以假乱真。
研讨人员共对3个分类器做了测验，其间两个为第三方分类器，一个为研讨人员练习出的用于对照的分类器。
选用的第三方分类器别离选用两种不同练习办法。
第一个分类器模型依据深度残差网络ResNet-50（Deep residual network）。
用到的ResNet-50预先通过大型视觉数据库ImageNet练习，接下来再被练习用于辨别真假图画。选用包括720000个练习图画、4000个验证图画的练习集，其间一半为实在图画，另一半是用ProGAN生成的组成图画。组成图画选用空间含糊和JEPG紧缩办法增强。
通过练习后，这个分类器能精确辨认出ProGAN生成的图画，而且还能分类其他未被发现的图画。
第二个判定分类器选用的是依据相似性学习（similar learning-based）的办法。通过练习后这款分类器能够精确辨认出由不同生成器组成的图画。
研讨团队还自己搭建了一个判定分类器模型，作为前述两个判定分类器的对照示例。这个分类器选用100万个ProGAN生成的图画进行练习，其间真假图画各占一半。论文中指出，这个分类器的练习管道比前述两种简略许多，因而错误率也更高。
研讨人员依据分类器是否敞开了拜访权限，选用了不同的进犯办法。对开发拜访权限的分类器选用白盒进犯；对不敞开拜访权限的分类器选用黑盒进犯。
别的，研讨人员用接收者操作特征曲线（ROC曲线）评价分类器的正确率。评价标准是曲线下面积（AUC）的巨细。AUC的取值规模为0~1，一般来说AUC>0.5即代表分类器有猜测价值，AUC值越大代表分类器精确率越高。
二、4种白盒进犯办法，AUC最低被降至0.085
关于敞开了拜访权限的分类器，研讨人员用白盒进犯评价其稳健性。
白盒进犯即进犯者能够获悉分类器所运用的算法以及算法运用的参数。在发生对立性进犯数据的进程中，进犯者能够与分类器体系发生交互。
进犯进程中用到的一切图画都来自一个包括94036张图画的视觉数据库。
开端白盒进犯之前，依据这个数据库的分类器的AUC数值为0.97。即便在履行典型的清洗战略躲藏图画组成痕迹后，分类器的AUC数值仍保持在0.94以上。
接下来研讨人员运用了4种白盒进犯办法。这4种进犯在之前的对立性示例中已有过研讨。进犯的详细办法是对图画进行修正，使分类器误认为它们是实在的。
▲四种进犯前后，分类器的ROC曲线图。蓝色实线代表JPEG格局的组成图画，蓝色虚线代表PNG格局的组成图画
第一种是失真最小化进犯（Distortion-minimizing Attack），即对组成图画增加一个较小的加法扰动δ。假定一个组成图画x先被分类器判定为假，施加扰动后，（x+δ）就会被判定为真。
成果显现，像素翻转2%，就会有71.3%的假图画被误判为真；像素翻转4%，会有89.7%的假图画被误判为真；像素翻转4~11%，一切的假图画都会被误判为真。
▲a：分类器把假图画辨认为真；b：分类器把真图画辨认为假。把像素翻转1%，就会有一半的假图画被判定为真；把像素翻转7%，就会有一半的真图画被判定为假。
第二种是丢失最大化进犯（Loss-Maximizing Attack），即界说一个更简略的方针函数，更大极限地提高组成图画被判定为真的概率。
成果显现把未紧缩图画的像素翻转40%，AUC值就会从0.966降到0.27。
第三种是通用对立性补丁进犯（Universal Adversarial-Patch Attack）。失真最小化进犯办法有有一个局限性：进犯者需求花费0.1秒为每个图画定制进犯办法。为了补偿这一局限性，研讨人员创建了一个单一的可视噪声模板补丁。这个补丁能够叠加在任何假图画上，有用增加了假图画的迷惑性。
叠加补丁后，分类器的AUC值从0.966降到0.085。
不同于之前三种办法通过对假图画施加扰动来影响分类成果，第四种进犯办法是通用潜空间进犯（Universal Latent-Space Attack），即对图画的潜在空间进行进犯。终究把分类器的AUC值从0.99降到0.17。
▲a为通用对立性补丁进犯作用，b~d为通用潜空间进犯作用。图中一切假图画都被分类器误判为真
三、约束条件进行黑盒进犯，AUC值降至0.22以下
论文指出，实际中的交际网站、约会网站等，并不会揭露其判定分类器的算法，因而很难进行前面所说的白盒进犯。
面临这样的一种状况，研讨人员进行了黑盒进犯。黑盒进犯假定对方知道进犯的存在，而且把握了一般的防护战略。
研讨成果显现，即便在这种约束性较强的黑盒进犯条件下，判定分类器也很简单遭到对立性要素影响。通过黑盒进犯，分类器的AUC数值下降到0.22以下。
结语：现有分类器有局限性，仍需深入研讨
谷歌公司和加州大学伯克利分校研讨团队证明，只要对虚伪图片恰当加以处理，就能使其“骗”过分类器。
这种现象令人担忧，论文中写道：“布置这样的分类器会比不布置还糟糕，不只虚伪图画自身显得非常实在，分类器的误判还会赋予它额定的可信度”。
因而，研讨人员主张开立异的检测的新办法，研讨出能够辨认通过再紧缩、调整巨细、下降分辨率等扰动手法处理的假图画。
据悉，现在有许多组织正在从事这一作业，如脸书、亚马逊网络服务及其他组织联合发起了“Deepfake辨别应战”，等待能探究出更好的解决方案。
文章来历：VentureBeat，arXiv
