Imagen是一个基于文本到图像扩散的生成器，建立在大型转化器语言模型上。
文本-图像模型接受文本输入如“一只骑自行车的狗”并产生相应的图像，这种工作已经做了多年，但最近在质量和可及性方面有了巨大的飞跃。
其中一部分是使用扩散技术，基本上是从一个纯噪音图像开始，然后慢慢地一点一点地完善它，直到模型认为它不能使它看起来比它已经做的更像一只骑自行车的狗。这是对从上到下的生成器的改进，这些生成器在第一次猜测时可能会出现搞笑的错误，而其他生成器则很容易被引入歧途。
另一部分是通过使用变换器方法的大型语言模型来改善语言理解，但它和其他一些最近的进展已经带来了令人信服的语言模型如GPT-3和其他。
Imagen首先生成一个小的（64×64像素）图像，然后对其进行两次“超分辨率”处理，进而使其达到1024×1024。但这并不像普通的升格，通过以原始图像为基础，AI的超级分辨率创造出跟小图像和谐的新细节。
说话上面的骑着自行车的狗，在第一张图片中，狗的眼睛只有3个像素宽。但在第二张图片中，它的宽度是12像素。这需要的细节从何而来？--AI知道狗的眼睛是什么样子的，所以它在绘制时产生了更多的细节。然后，当再次绘制眼睛时，这种情况又发生了，但宽度为48像素。像许多艺术家一样，它从相当于一张粗略的草图开始，然后在研究中把它填满并在最后的画布上实施。
这并不是没有先例，事实上，使用AI模型的艺术家已经在使用这种技术来创作比AI一次就能处理的作品大得多的作品。如果把一块画布分成几块，然后分别对它们进行超分辨率处理，最终会得到更大、更复杂的东西，并且甚至可以重复这样做。
Google的研究人员称Imagen的进步覆盖几个方面。他们称，现有的文本模型可用于文本编码部分，其质量比单纯提高视觉保真度更重要。这在直觉上是有道理的，因为一张详细的胡言乱语的图片肯定比一张稍微不详细的图片更糟糕。
如在描述Imagen的论文中，他们比较了它跟DALL-E 2做“一只熊猫在做拿铁艺术”的结果。在后者的所有图像中，展示的都是熊猫的拿铁艺术；而在Imagen的大部分图像中，都是熊猫在做（拿铁）艺术。
在Google的测试中，Imagen在人类评价的测试中领先，无论是准确性还是保真度。虽然这是相当主观的，但其甚至可以跟DALL-E2的感知质量相匹配，直到今天还被认为是领先于其他一切的巨大飞跃，这是相当了不起的。
不过OpenAI在几个方面比Google领先一两步。DALL-E 2不仅仅是一篇研究论文，它还是一个私人测试版，人们在使用它，就像他们使用其前身和GPT-2和3一样。而具有讽刺意味的是，这家名字中带有“开放(open)”的公司一直专注于将其文本到图像的研究产品化，而这家利润丰厚的互联网巨头却还没有尝试。
这一点从DALL-E 2的研究人员所做的选择中可以看出，他们提前策划了训练数据集并删除了任何可能违反他们自己指导方针的内容。该模型即使想做NSFW的东西也做不出来。然而，Google的团队使用了一些已知包括不适当材料的大型数据集。在Imagen网站上描述 “局限性和社会影响”的有见地的部分，研究人员写道：
“文本-图像模型的下游应用是多种多样的，并可能以复杂的方式影响社会。滥用的潜在风险引起了人们对负责任地开放代码和演示的关注。目前，我们已经决定不发布代码或公开演示。
文本-图像模型的数据要求导致研究人员在很大程度上依赖于大型的、大多未经整理的、网络收集的数据集。虽然这种方法在最近几年使算法迅速进步，但这种性质的数据集往往反映了社会定型观念、压迫性观点及对边缘化身份群体的贬损或其他有害的关联。虽然我们的训练数据的一个子集被过滤掉了噪音和不良内容如色情图像和有毒语言，但我们也利用了LAION-400M数据集，该数据集已知包含广泛的不当内容，其中包括色情图像、种族主义口号和有害的社会成见。Imagen依赖于在未经整理的网络规模数据上训练的文本编码器，并且继承了大型语言模型的社会偏见和限制。因此，Imagen存在编码有害的陈规定型观念和表述的风险，这指导我们决定在没有进一步保障措施的情况下不将Imagen发布给公众使用。”
虽然有些人可能会对此嗤之以鼻，说Google担心它的AI可能不够政治正确，但这是一种不道德和短视的观点。一个AI模型的好坏取决于它所训练的数据，而不是每个团队都能花时间和精力来删除这些搜刮者在收集数百万张图片或数十亿字的数据集时发现的真正可怕的东西。
这样的偏见是为了在研究过程中显示出来，这暴露了系统是如何工作的并为识别这些和其他限制提供了一个不受约束的测试场所。
虽然对许多人来说，解除系统性偏见是一个终身项目，但AI更容易，它的创造者可以先删除导致其行为不端的内容。也许有一天会需要AI以50年代的种族主义、性别歧视专家的风格来写作，但目前包括这些数据的好处还太小而风险还太大。
不管怎样，Imagen和其他同类型技术一样，明显仍处于实验阶段，它也还没有准备好以严格的人类监督方式之外的其他方式来使用。
最新文章