Adobe放出P图新研讨：就算丢了半个头，也能传神复原

乾明 郭一璞 发自 凹非寺

量子位 报道 | 群众号 QbitAI

糟糕。

一张照片被挖了一个“洞”。

不佳不佳，这但是限量版24k纯金足球怀念勋章挂坠的唯一存世照片，要是没了，就只能飞8个航班越过54座山丘穿越25000公里拿出我逆光也明晰的R213重新拍一张了……

照旧请出AI修图匠，试试能不克不及把我的纯金勋章还给我。

第一位修图门徒，PartialConv，来自家里有GPU的大厂英伟达，听说能把破了相的妹子的脸修复好，还顺带做个医美，去皱隆鼻玻尿酸。

试试后果：

我天庭丰满的圆形勋章，怎样成了这个鬼样子？这是做旧了呀？

第二位修图门徒，GatedConv，来自伊利诺伊大学和Adobe，以前把岩洞修成爱你的外形。

看看出品：

这、这还不如前方的做旧门徒呢，连个圆都画不出来。

我只是要把我的勋章补圆，怎样这么难？

只能指望第三位修图门徒了，名字有点长，Foreground-aware Image Inpainting，出息感知图像修复，“前”教师。

病急乱投医，请前教师开个方子：

咦？仿佛不错的样子？

我的勋章照旧又亮又圆，还标志出了勋章的表面，圆周曲率，合规合矩，不圆不要钱。

这位“前”教师，是新年伊始刚刚发在Arxiv上的最新算法，论文就叫《Foreground-aware Image Inpainting》，研讨者们来自罗彻斯特大学、伊利诺伊大学香槟分校和Adobe研讨院，此中一作是罗彻斯特大学盘算机系学生，完成这项研讨时正在Adobe练习。

各项体现优于其他研讨

以是，前方那些老牌修图匠，是怎样被PK掉的？

从这张数据比力表可以看出来，出息感知图像修复，在各种后果数据中都是最精良的，凌驾了PatchMatch、Global&Local、ContextAttention、PartialConv、GatedConv五大对手。

数据冷冰冰，我们让群众的眼睛来推断一下，哪个修图匠做的最好。

研讨团队找了50张照片，随机打洞毁坏后，用前方提到的五大AI修图匠和出息感知图像修复算法来修复后，让吃瓜群众们挑选修复的最好的那张。

统共取得1099张选票，877票都投给了出息感知图像修复算法，得票率将近80%。

吃瓜群众们看到的后果图长如此：

这是一个整张照片随机打孔的示例。

在这个示例里，海边的小男孩上半个头都不见了，右腿的一局部也散失了，前方3个AI都补偿的相当僵硬，PS痕迹分明。

后方的三个AI都不会处理裤腿，右方宽松右方窄，仿佛小男孩穿了一件打折残次品。

而头顶的局部，出息感知图像修复算法是唯逐一个把头顶修复明晰的，固然小男孩看起来年岁悄悄，发际线不低，但整张图片都是完备明晰的。

这个示例则只在背景局部打孔，出息不受影响。

可以看出，前三个AI还好坏常僵硬，将图片上的颜色随意涂抹一通。

后三个里，第四个和第五个在处理小男孩衣领的时分显现了成绩，仿佛毛衣脱了线。

唯有出息感知图像修复算法完善的修复了这张照片，几乎和原图如出一辙，看不出什么分明的成绩。

怎样完成的？

全体来说，完成这项神奇的修复武艺，只必要3步。

起首，检测毁坏图像的出息表面。

然后表面补全模块下场，来猜测完备的图像出息表面应该是什么样子。

最初，将补全的表面连同毁坏的图像一同输入图像补全模块，作为修复图像毁坏局部的引导，来天生最初的图像。

在整个模子中，最为中心的，是表面补全模块。正是这一局部，赋予了整个研讨的“生命力”。底下的这个图片，体现了有表面补全模块（左三）与没有表面补全模块（左二）之间的比力。

△左一为带洞的输入图像，右一为原始图像。

没有表面补全模块的修复图像，脑门、头发、水果融为一体，并没有很好地区分开。表面补全模块的修复图像，固然仍旧不太完善，但后果要好得多。

这个表面补全模块，具体是怎样回事呢？

没有现成的数据集

之前练习图像修复算法用的数据集，寻常都没有什么标签。但是到“出息感知图像修复”里就不可了。

由于这个算法有个补全出息表面的环节，以是，就必要一个标注了表面的数据集。

以是，他们从种种公用数据会合搜集了15762张天然图像，每张都包含一两个明显目标，有生物、植物、人物、面部、修建物、街道等等。

每张图，都用蒙版标注出了明显目标，也就是出息，还用边沿检测算法获取了表面。

实际天下中，各位想要修复的图像，缺失的局部很少是“规端正矩”的。以是在这项研讨中，是随机给数据会合的图像“挖洞”。主要有两种：

一种是随意在图像中挖洞，洞约莫显如今出息目标上，主要用来处理不必要的目标显如今出息图像中大概遮挡明显目标的情况。

一种是不克不及显如今出息目标上的洞，主要是为了模仿不必要的地区，大概疏散注意力的目标位于明显目标后方的情况。

数据集搞定之后，就轮到前边提到的3步算法下场了。

检测出息表面

数据集做好之后，在正式练习表面补全模块之前，会先对明显目标举行表面检测。在这一环节中，没有输入图像的表面蒙版，而是使用了DeepCut来主动检测图像中的明显目标。

DeepCut使用深度神经网络，提取并组合图像中的高等和低级特性，来猜测具有十分准确界限的出息蒙版。

但由于输入图像被挖了洞，以是天生的分开图中会有一些噪声。偶尔分，洞都被当做了出息。

处理这个成绩的办法是使用二值的图像缺失局部蒙版，去除支解图中约莫被误以为明显目标的地区。然后，使用连通分量分析进一步去除图中的一些小聚类以取得出息蒙版。

然后接纳Sobel算子从支解图中检测物体的不完备表面。

下一步，就是——

猜测完备表面

表面补全模块的架构，与现有的图像修复武艺的架构相似，是一个基于GAN的模子，由天生器和PatchGAN辨别器构成。天生器包含两个网络，一个是大略网络，一个是精密网络。

此中，大略网络是一个具有多少卷积和扩张卷积层的编码器-解码器网络。精密网络的架构与其大抵相似，只是增长了语境注意力层，从图像全局来推断缺失值。

起首，将不完备的图像、不完备的表面和图像缺失局部蒙版输入到大略网络中，取得一个大略表面图，也就是对图像缺失表面的大略估测。

然后，将粗糙的表面输入到精密网络中，来输入更明晰，更准确的表面。

更准确的表面出来之后，就交由PatchGAN辨别器举行反抗练习，它会输入一个得分图，而不是单个得分，来更明白的反应天生的表面不同局部地区的真实性。

但在这个历程中，表面的希罕水平不一，数据是不屈衡的，因此会带来种种千般的成绩，好比无法确定每个像素的权重等等从，从而招致种种丧失函数没效。

为了制止在练习历程中数据不屈衡成绩带来的种种成绩，研讨团队接纳了课程学习（Curriculum learning）的办法， 来渐渐练习模子。

第一阶段，表面补全模块仅必要输入大略表面，仅练习具有内容丧失的模子。

第二阶段，使用反抗性丧失来微调预练习网络，但与内容丧失比拟，权重十分小，即0.01:1，以制止练习失败。

第三阶段，将反抗性丧失的权重和内容丧失的权重比例调为为1:1来微调停个表面补全模块。

最初一步，修复图像

然后，就是图像补全模块上场了。

图像补全模块先在大型Places2数据集上举行预练习。然后，在表面补全模块输入的引导下举行微调。

在练习历程中，有两种办法。一种是安稳表面补全模块的参数，并仅微调图像补全模块。第二种是团结微调两个模块，这次研讨接纳了后果更好的第二种办法。

除了天生器和辨别器不同之外，图像补全模块的布局和表面补全模块基本相反。输入不完备的图像、完备的表面、和图像缺失局部的蒙版，输入完备的图像。

相反，模块的天生器中也有一个大略网络和一个精密网络。教师成大略图像，再天生改准确的后果。

接下去，精密网络天生的图像与图像缺失局部的蒙版毗连，并交由图像辨别器以举行反抗性学习。再颠末练习，来天生终极的图像。

更多内容可以阅读论文~

传送门：

https://arxiv.org/pdf/1901.05945.pdf

— 完 —

诚挚招聘

量子位正在招募编纂/记者，事情地点在北京中关村。渴望有才华、有热情的同砚到场我们！干系细节，请在量子位群众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

?'?' ? 追踪AI武艺和产物新动态