又是GAN!这个AI让周杰伦、罗永浩“变脸”古典画像

2019-07-30 10:50

最近,一款俄罗斯 AI 换脸“神器” FaceApp 爆红,它能让你上传的照片瞬间变老或者变年轻。

MIT-IBM Watson AI 实验室的研究人员近日也研发了一款类似的 AI,在 aiportraits.com 这个网站上,用户只要上传自拍照就可以由 AI 生成专属的古典艺术肖像。

“套路”听上去似乎跟 FaceApp 差不多,首先是数据集,该网站使用了 45000 张古典艺术肖像来训练算法,数据库涵盖从伦勃朗、提香再到梵高等著名艺术家的大量艺术绘画风格,所以当用户上传自拍照时,算法会用水彩或水墨渲染照片以生成独特的艺术肖像

当用户使用时,这个 AI 能够在 4K 分辨率下实时绘制人像。那会给人一种站在镜子前,好像有成千上万个伦勃朗、卡拉瓦乔和提香在画你的错觉。

先试一张德国总理默克尔的图片做个试验,得到如下艺术肖像。

         

再上传一张“没有数据”周杰伦的肖像照片试试。

         

看上去还不错。再来张罗永浩的?

          

从这些照片中可以看出,生成图片后的背景和脸型基本与本人原照片相匹配。

也有让你感觉“不像”的地方,比如周杰伦和罗永浩明明都在微笑,但 AI 生成后的艺术照却稍显含蓄,而且两位都是东方男子,AI 却给了一张西方人的脸。

这当然跟数据集有关,数据集大部分应该都是西方艺术家的画作,所以 AI 算法在生成东方人的艺术肖像后,脸型是偏西方的,另外西方文艺复兴时期大师们的肖像画表情都偏冷淡风。

从技术角度,乍一看,你可能觉得这个 AI 算法看上去与之前生成 AI 肖像的风格迁移方法非常相似,后者可以将图像换一种外观或视觉风格。


风格迁移方法生成的图片

不过研究人员强调,他们使用的算法并非是以新风格来渲染用户的肖像。相反,他们使用了生成对抗网络(GAN)来让人像从头开始生成新特征。

    

GAN 由两个神经网络组成,一个学习识别人像(鉴别器),另一个学习生成人像(生成器)

研究人员表示,他们训练了生成对抗网络(GAN)模型来再现不同风格和抽象层次的人物肖像。GANs 是一种非常流行的深度生成模型,研究人员训练它们来学习潜在向量(latent vector) z∈Z 到生成图像 y=G(z) 的映射,其中 G 为生成器,潜在空间 Z 表示所有可能的肖像。

这个 AI 应用让我们以一个直观而有趣的方式与最先进的 GAN 模型进行互动。通过向神经网络展示人脸,透过 Z 空间,在 GAN 的多维空间中识别出最能描述人脸的向量。为了能够将自己的图像插入到模型的潜在空间中,研究人员训练了一个逆变器,它可以从图像 x 中近似出潜在向量 z= I(x)。

任何人都可以使用 GAN 模型生成一幅新的艺术肖像,原来肖像的面部线条会被完全重新设计,而模型自己会决定使用哪种风格的肖像,尤其人脸和照片背景的细节会使模型生成的新艺术肖像换成另一种风格,比如颜色和形式都发生了明显的变化,脸部线条都是由算法模型重新设计。但使用风格迁移方法,通常生成的图片只有强烈的色彩变化,其整体特征却保持不变。

当然,你可能会担心这个AI肖像应用会存在 FaceApp 一样的图片隐私问题,不过研究人员在网站承诺,他们不会将用户上传的照片数据用于其他任何目的,在你上传图片完成体验后他们会立即删除。

你要不去试试?

立即开通八斗机器人,免费试用全部功能