研究高分辨率图像合成与语义操纵基于条件生成对抗网络

Abstract

我们设计出一种基于条件生成对抗网络的新技术，该技术能够从语义标签映射中生成高分辨率且具有真实感的图像。尽管条件GANs已在多个领域得到应用，但其生成结果通常受限于较低的分辨率，与实际场景仍存在较大差距。在本研究中，我们通过引入一种新的对抗损失函数，并结合改进后的多尺度生成器与判别器结构，成功生成了分辨率为2048×1024的视觉效果出色的图像。同时，我们进一步拓展了该框架的功能，使其具备两种传统交互特性。首先，我们将对象实例分割信息整合进系统中，从而实现对图像中对象的编辑操作，如移除、添加对象或调整对象类别。其次，我们开发了一种能够在相同输入条件下生成多样输出的方法，使用户可以对图像中的物体外观进行交互式修改。根据人类评估实验的结果显示，与现有方法相比，我们的方案在深度图像合成与编辑方面展现出更优的质量和效果。

1. Introduction

在真实感图像绘制过程中，需要对几何形状、材质以及光传播过程进行精确的模拟，因此通常会借助标准图形技术来实现。虽然当前的图形算法在完成此类任务方面表现出色，但构建和调整虚拟环境的成本较高且耗时较长。这主要源于我们必须对现实世界中的各个要素进行详尽建模。若能借助从数据中学习得到的模型来生成真实感图像，那么图形渲染的过程便可转化为模型的学习与推理问题。通过在新的数据集上训练模型，我们能够显著简化创建新虚