推广 热搜: 京东  联通  iphone11  摄像头  企业存储  XSKY  京东智能采购  iPhone  网络安全  自动驾驶 

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

   日期:2020-12-29     来源:量子位    作者:itcg    浏览:348    我要评论    
导读:本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 AI画的简笔画能到什么水平? 给一张�

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

AI画的简笔画能到什么水平?

给一张美国演员Rami Malek的照片,效果是这样的。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

是不是和原图很逼近了?

再来看下输入《老友记》合影的效果。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

虽然人物众多,但出来的简笔画效果,依旧还是能分清剧中的人物。

如果毛发特别浓密的人物照,AI还能hold得住吗?

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。

再近距离一些的呢?来看“霉霉”(Taylor Swift)照片的效果。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

可以说是相当的细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。

……

这些就是出自一个叫ArtLine的AI的作品。

而且它在Reddit非常火爆,已经达到了1100+的热度。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

如此惟妙惟肖的效果,你是不是认为又是GAN的功劳?

错!

ArtLine完全没有用到GAN:

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

也正因如此,ArtLine的效果真真儿的惊艳到了网友。

那么,它是如何做到的呢?

ArtLine背后的三大“法宝”

ArtLine的作者十分爽快地分享了其背后的三大技术:

Self-Attention Progressive Resizing Generator Loss

接下来,一起逐一看下各个技术背后的细节内容。

Self-Attention部分引用的技术,出自两年前GAN之父lan Goodfellow等人提出的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

等等,刚才不是还说“没用到GAN”吗?

作者对此的解释是:

并没有起到太大作用。

这项研究主要是在GAN生成中加入了注意力机制,同时将SNgan的思想引入到生成器当中。

所要解决的是传统GAN自身存在的一些问题,例如:

使用小的卷积核很难发现图像中的依赖关系 使用大的卷积核就会丧失卷积网络参数与计算的效率

研究中核心的自注意力机制如下图所示。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

其中,f(x),g(x)和h(x)都是普通的1x1卷积,差别只在于输出通道大小不同。

而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过softmax归一化,得到一个Attention Map。

得到Attention Map之后,和h(x)逐像素点相乘,得到自适应的注意力feature maps。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

从结果上来看,引入自注意力机制的效果,确实在FID和IS两个性能指标下,得到了较好的效果。

ArtLine涉及到的第二个技术灵感,来自英伟达在2018年的一项研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这项研究主要提出了一种新的训练对抗神经网络的方法。

核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这种方法不仅加快了训练速度并且更加稳定,可以产生高质量的图像。

ArtLine所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在2016年提出的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这项研究主要解决了实现的风格转换,比较费时的问题。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

风格转换部分主要用了上面的网络模型,这个模型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。

其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。

这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到3个数量级。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN 关于作者 这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

ArtLine的项目作者叫做Vijish Madhavan。

他在GitHub中坦言自己并非程序员出身,也道出了ArtLine目前存在的一些缺陷,例如处理像素低于500px的图像时,效果并不理想等。

现在,ArtLine可以在线玩了!

感兴趣的读者,可以戳下方链接体验一下。

Colab链接:

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb

GitHub项目地址:

https://github.com/vijishmadhavan/ArtLine

 

 
反对 0举报 0 收藏 0 打赏 0评论 0
 
更多>同类资讯
0相关评论

头条阅读
推荐图文
相关资讯
网站首页  |  物流配送  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报  |  京ICP备14047533号-2
Processed in 0.074 second(s), 11 queries, Memory 1.49 M