图像修复'GenerativeImageInpaitingWithContextualAttention'

在图像修复任务中，研究者注意到由于卷积神经网络难以获取图像中远距离区域的信息，导致修复区域边界处常出现结构扭曲和图像模糊的现象。而传统基于纹理与斑块的修复方法则能取得较理想的效果，因其仅需借鉴邻近区域的信息即可完成修复。

基于上述观察，研究者提出了一种新型的深度生成模型方法，该方法不仅能够生成新的图像结构，还能有效利用周围图像特征作为参考信息，从而实现更精确的预测。

研究者设计了一个集成内容感知层（contextual attention layer）的前馈生成网络，并将其训练过程划分为两个阶段。第一阶段采用简单的卷积网络进行训练，通过反复修复缺失区域以生成重建损失值（reconstruction loss），最终得到一个较为模糊的修复结果。第二阶段则专注于内容感知层的训练，其核心理念是：利用已知图像斑块的特征作为卷积核来处理生成的斑块信息，从而对模糊结果进行精细化处理。具体实现方式为：通过卷积操作从已知图像中匹配相似斑块，在全通道上应用softmax函数以识别最接近待修补区域的斑块，并利用该区域的信息进行反卷积操作以重构修补部分。

此外，在内容感知模块中还引入了空间传播层（spatial propagation layer），用以提升空间感知的一致性。

为了使网络具备“想象”出新图像内容的能力，设计了一条独立的卷积通路（convolutional path