今天的智能手机经常使用人工智能（A I）来帮助我们拍摄的照片更加清晰和清晰。但是，如果这些人工智能工具可以用来从头开始创建整个场景呢？

麻省理工学院和IBM的一个团队现在已经完全使用了“GaNpaint Studio”，这个系统可以自动生成真实的摄影图像并编辑图像中的对象。研究人员说，除了帮助艺术家和设计师快速调整视觉效果外，这项工作还可能帮助计算机科学家识别“假”图像。

大卫·鲍，博士。麻省理工学院计算机科学和人工智能实验室（CSA IL）的D.学生将该项目描述为计算机科学家第一次能够实际“与神经网络的神经元一起作画”----特别是一种流行的称为生成对抗性网络的网络。

作为交互式演示，Gampaint Studio允许用户上传他们选择的图像并修改其外观的多个方面，从改变对象的大小到添加像树和建筑物这样的全新项目。

Boon for Designe

该项目由麻省理工学院教授安东尼奥·托拉尔巴（Antonio Torralba）作为MIT-IBM Watson人工智能实验室的一部分领导，具有巨大的潜在应用前景。设计师和艺术家可以用它来快速调整他们的视觉效果。使该系统适应视频剪辑将使计算机图形编辑器能够快速组成特定拍摄所需对象的特定安排。（例如，想象一下，如果一个导演用演员拍摄了一个完整的场景，但忘了在背景中包含一个对情节很重要的对象。）

还可以使用GaNpaint Studio来改进和调试其他正在开发的GaN，方法是分析需要移除的“工件”单元。在一个不透明的人工智能工具使图像操作变得比以往任何时候都容易的世界里，它可以帮助研究人员更好地理解神经网络及其底层结构。

“现在，机器学习系统是这些黑匣子，我们并不总是知道如何改进，就像那些旧电视机，你必须通过击中他们的侧面，”Bau说。“这项研究表明，虽然打开电视，看看所有的电线可能会很害怕，但里面会有很多有意义的信息。”

一个意想不到的发现是，系统实际上似乎已经学会了一些关于对象之间关系的简单规则。不知何故，它知道不要把它不属于的东西放在某个地方，就像天空中的一扇窗户，它也在不同的环境中创造了不同的视觉效果。例如，如果一个图像中有两个不同的建筑物，并且系统被要求为两者都添加门，那么它不会简单地添加相同的门-它们最终可能看起来很不同。

托拉尔巴说：“所有绘图应用程序都将遵循用户的指示，但如果用户命令将对象放置在不可能的位置，我们可能会决定不绘制任何东西。”“这是一个具有强烈个性的绘图工具，它打开了一个窗口，让我们了解GAN如何学会代表视觉世界。”

GANS是为了相互竞争而发展起来的一组神经网络.在这种情况下，一个网络是专注于创建真实图像的生成器，第二个网络是一个鉴别器，其目标是不被生成器愚弄。每次鉴别器“捕获”发生器时，它都必须暴露决策的内部推理，这使得发生器能够不断地变得更好。

芬兰阿尔托大学的副教授Jaakko Lehtinen说：“看到这项工作如何使我们能够直接看到GANS实际上学到了一些开始看起来有点像常识的东西，这真是令人兴奋。“我认为这种能力是拥有能够在人类世界中真正发挥作用的自主系统的关键基石，人类世界是无限的、复杂的、不断变化的。”

杜绝不必要的“假”形象

该团队的目标一直是让人们更多地控制GaN网络。但他们认识到，随着权力的增加，虐待的可能性也随之而来，比如使用这些技术来检查照片。合著者朱俊燕说，他相信更好地理解甘-以及他们所犯的错误-将有助于研究人员能够更好地消除造假。

CSAIL的博士后朱说：“你需要了解对手，然后才能进行防守。“这种理解可能会帮助我们更容易发现假图像。”

为了开发该系统，团队首先确定了GaN中与特定类型的对象（如树）相关联的单元。然后，它分别测试这些单元，看看是否摆脱它们会导致某些对象消失或出现。重要的是，他们还识别了导致视觉错误（伪影）的单元，并努力删除它们以提高图像的整体质量。

IBM公司的研究科学家Hendrik Strobelt说：“每当GAN产生非常不切实际的图像时，这些错误的原因就一直是个谜。“我们发现，这些错误是由特定的神经元集合触发的，我们可以沉默以提高图像的质量。”

鲍、斯特罗贝尔特、托拉尔巴和朱同前CSAIL博士共同撰写了这篇论文。学生周博莱，博士后副学士乔纳斯·乌尔夫，本科生威廉·皮布斯。他们将于下个月在洛杉矶举行的SIGgraph会议上提出这一建议。Lehtinen说：“这个系统为我们更好地理解GaN模型打开了一扇门，这将帮助我们做任何我们需要做的研究。