作者从私人收藏的照片中剪切出 33 个 512×512 像素的图像以构建实验所用的图像数据集。然后用黑色在每个照片中心画一个 180×180 像素的方块。人类艺术家和自动修复方法的任务都是通过改变黑方块（掩码区域）中的像素来恢复失真图像。作者使用的是私人的、未公开的照片集，以确保在实验中人类艺术家并没有提前看到过原始图像。尽管在实际应用中，掩模的形状不一定是规则的，但在实验中还是使用了正方形的掩模，因为实验中有些 DNN 方法仅能使用正方形掩模进行处理。作者使用的照片示例如下：
图 2. 样本照片示例
实验中使用了九种自动修复方法作为机器学习的方法示例，其中，前六种方法为以神经网络为基础的机器学习方法，后三种是深度学习爆发之前的计算机自动处理方法。具体包括：
（1）深度图像先验 Deep Image Prior，http://arxiv.org/abs/1711.10925
（2）全局和局部一致性图像修复 Globally and Locally Consistent Image Completion，http://iizuka.cs.tsukuba.ac.jp/projects/completion/en/
（3）高分辨率图像修复 High-Resolution Image Inpainting，http://arxiv.org/abs/1611.09969
（4）移位网 Shift-Net，http://arxiv.org/abs/1801.09392
（5）语境注意力的生成图像修复 Generative Image Inpainting With Contextual Attention，http://arxiv.org/abs/1801.07892
（6）基于部分卷积的不规则孔洞图像修复 Image Inpainting for Irregular Holes Using Partial Convolutions，http://arxiv.org/abs/1804.07723
（7）基于范例填充的图像修复 Exemplar-Based Image Inpainting（本竞赛中考虑了两种不同大小修复块（Examplar Patch）的情况），http://www.irisa.fr/vista/Papers/2004_ip_criminisi.pdf
（8）用于图像修复的面片偏移量统计 Statistics of Patch Offsets for Image Completion，http://kaiminghe.com/eccv12/index.html
（9）Adobe 自带的内容感知填充 Content-Aware Fill in Adobe Photoshop CS5
为完成人工处理，作者找到三位艺术家从每一组照片中随机挑选照片来修复。为了鼓励他们做出最好的结果，作者还告诉每位艺术家，如果他或她的作品超过竞争对手，将会酬金中增加 50% 的奖金。虽然实验中并没有规定严格的时间限制，但艺术家们都在大约 90 分钟内完成了任务。
作者将三位专业艺术家的修复结果和自动修复方法的修复结果与原始的、未失真的图像（ground truth）进行了比较。比较使用的是 Subjectify.us (http://subjectify.us/)平台（一个众包主观质量评价平台，Crowd-sourced subjective quality evaluation platform）。这个平台以成对的方式向参与者展示研究结果，让他们从每一对中选择视觉质量最好的图像。为了确保参与者做出深思熟虑的选择，平台还通过让参与者比较真实图像和基于样本的图像修复结果来进行验证。共收集了来自平台的 69215 名参与者的判断结果。
以下是本次比较的总体和每幅图像的主观质量分数:
图 3. 艺术家和自动方法的图像修复结果主观评价对比
从这个竞赛的结果可以看出，艺术家们的表现在大多数照片中大大超过了自动方法。只在一种情况下有一种算法击败了艺术家：用非神经网络方法（8、Statistics of Patch Offsets for Image Completion）修复的 “Urban Flowers” 图像比艺术家 1（Artist#1）绘制的图像排名更高。此外，艺术家修复的图像与原始未失真图像的效果不相上下，甚至看起来更好：艺术家 2（Artist#2）和艺术家 3（Artist#3）修复的 “Splashing Sea” 图像的质量分数高于 Ground truth，艺术家 3（Artist#3）修复的 “Urban Flowers” 图像的得分仅略低于 Ground truth。所以，在图像修复的任务中，人类还是远胜于机器的。不过值得注意的是，在这个实验中，参与者是艺术家，也就是说，是具备一定绘画和艺术能力的人。对于普通人来说，他的修复能力就一定能比机器好么？游易德
在自动修复方法中，效果最好的是生成方法（5、Generative Image Inpainting With Contextual Attention），但也并不是一种压倒性的胜利。从上面的对比结果也可以看出，这种方法在几种照片中都没获得最佳分数。“Urban Flowers”和 “Splashing Sea” 的第一名分别是（8、Statistics of Patch Offsets for Image Completion）和（7、Exemplar-Based Image Inpainting），“Forest Trail”的第一名是（6、Image Inpainting for Irregular Holes Using Partial Convolutions）。值得注意的是，根据总体排行榜，深度学习方法的表现是优于非神经网络方法的。
