Topic: 谷歌发布超强马赛克清除技术，靠AI的 “脑补”来还原图像 (Read 214 times)

有时候出于隐私等方面的考虑，我们需要给图片和影像打上马赛克，有时候我们又会嫌马赛克碍事，打马赛克和反马赛克仿佛一场无止境的较量。微软在1月底推出了一项自动视频打码技术，用户只需要选择视频中的一个人物，AI就能自动识别、追踪视频中这个人物所有露脸的地方并进行模糊处理。而近日Google Brain（谷歌大脑）团队又发布了一个名为超强像素递归方案（Pixel Recursive Super Resolution）的AI系统，能提高像素乱化处理后的照片的分辨率。通俗地讲，就是能去除马赛克。


有兴趣的读者可以试试用谷歌的这个AI去清除微软的AI打出来的马赛克，不过在进行这个“以子之矛，攻彼之盾”的游戏前，不妨先看看谷歌的这个解码AI到底“超强”在哪里。


谷歌上载在预印本网站arXiv上的论文详细介绍了这个算法的原理和效果。在下图中，右列是名人照片未经模糊化的原图，左列是被打码后的照片，分辨率仅有8x8像素。而中间是谷歌的AI解码处理后的效果，分辨率达到32x32像素，提升了16倍。


通常情况下，马赛克是难以清除的。这是因为在打码过程中，原图的信息会经历不可逆的损失。根据奈奎斯特采样定理，如果这个采样频率比原始数据的频率的 2 倍还要低，那么必然产生不可逆的数据损失。


以往最常见的马赛克去除方法是插值。我们可以把每一个像素想象成一个特定颜色的小格子，这些特定的颜色可以用特定的数值代表。一张图片就是由无数这样的小格子组成的。而最常见的马赛克手段，就是把那个区域的数字都取周围数字的平均数。


而所谓的插值，就是把这块被取并均值的区域再进行放大，比如放大200%的话，原来被打码区域里的一个小格子就会被2x2四个格子取代，剩下的任务就是再重新填充这4个格子的颜色。我们可以通过取周围若干个格子颜色的加权平均值来填充每个格子，取的周围格子数越多，还原效果也就越好。当然，这种解码手段最后呈现的效果并不能令人满意。


2016年，得克萨斯大学的一个团队推出了一个名为Torch的反马赛克，不过Torch的原理是识别而非复原。也就是说，Torch可以匹配出被打马赛克图片相符或者相似的原图。


谷歌大脑的这个算法思路与Torch一脉相承，只是技术上更进一步。开发者们通过深度学习让机器产生“联想”，以“猜测”的方式为被马赛克的色块增加细节，提升像素倍数，从而得出更清晰的画面。比起“还原”，还不如说这是AI靠强大的学习和计算能力“脑补”出了原图。


这种“脑补”基于两项核心工具。第一项工具调节网络（conditioning network），是一个CNN（卷积神经网络），通过向系统展示海量人物面部照片来进行训练，让系统记忆学习到具有代表性的面部特征。另一项工具优先网络（prior network）是一个PixelCNN，让系统基于之前的训练，猜测哪些细节可以作为高分辨率照片的特征，并根据概率优先原则，从所有可能的原图中找到最有可能匹配的细节，对高分辨率照片进行填充。



目前，该系统“还原”出的人脸照片的混淆率是10%。在“还原”场景图片方面，该系统的表现可能会更好一些，其混淆率可以达到28%。50%的混淆率意味着完全复原，可以以假乱真。


“还原”人脸混淆率为10%，“还原”场景混淆率为28%。


从应用角度来看，该系统最大的突破在于能够让8x8像素的模糊图片变得清晰一些，尽管离通过识别面部验证人员身份还有一段距离，但对于通过“还原“分辨图片中对象的位置、确定事物大概面貌以及确认某人是否在现场来说已经足够了，这将为犯罪刑侦带来更大的帮助。


而Google近水楼台先得月，可能会将该技术率先应用在自家SNS社交网站“Google+”的图片上传上，即在用户上传照片时将其低像素压缩，识别出图片中的关键信息，然后再启动这项AI技术，将图片提高分辨率进行“还原”。这种方式可以帮助用户节省流量。