这个AI“高手”的简笔画水平让网友惊艳:我连GAN都不需要
雷锦来自奥菲寺
量子报告| QbitAI，微信官方账号
AI可以画简笔画到什么水平？
给一张美国演员拉米马雷克的照片，效果是这样的。
和原图很接近吗？
我们来看一张合影输入《老友记》的效果。
虽然人物很多，但是简笔画效果还是可以区分剧中人物的。
头发特别厚的人被拍照，AI还能撑吗？
妹子“爆炸头”的边毛，算是完美还原。
更近的呢？看看“泰勒斯威夫特”照片的效果。
可以说是相当细致，充分发挥了头发的层次感和光感以及衣服的褶皱。
……
这些是一个叫做艺术线的人工智能的作品。
而且在Reddit上很受欢迎，已经到了1100的热度。
你觉得GAN负责这么生动的效果吗？
不对！
ArtLine根本不用GAN:
正因为如此，ArtLine的效果真的是让网友叹为观止。
那么，它是如何做到的呢？
艺术线背后的三大法宝
艺术线的作者非常愉快地分享了它背后的三项技术：
自我关注
渐进调整大小
发电机损耗
接下来，我们来逐一看看每项技术背后的细节。
《自我关注》部分引用的技术来自GAN之父lan Goodfellow两年前提出的研究。
等等，你刚才不是说“不用GAN”吗？
作者对此的解释是：
没多大区别。
在本研究中，注意机制被添加到GAN生成中，并且SNgan的思想被引入到生成器中。
解决传统GAN中存在的一些问题，如：
使用小卷积核很难在图像中找到相关性
使用大的卷积核会损失卷积网络参数和计算的效率
研究中的核心自我注意机制如下图所示。
其中f(x)、g(x)、h(x)都是普通的1x1卷积，唯一的区别在于输出通道大小不同。
然后f(x)的输出进行转置，乘以g(x)的输出，再用softmax归一化，得到一个注意力图。
自适应注意力特征图是通过将注意力图与h(x)像素相乘而获得的。
从结果来看，在FID和is绩效指标下引入自我关注机制的效果确实更好。
ArtLine涉及的第二个技术灵感来自英伟达在2018年进行的一项研究。
本研究主要提出一种新的神经网络训练方法。
核心思想是逐步训练发生器和鉴别器：从低分辨率开始，随着训练过程的进行，逐渐加入新的层来细化细节。
这种方法不仅加快了训练速度，而且更加稳定，可以产生高质量的图像。
ArtLine涉及的最后一项技术是斯坦福大学李菲菲团队在2016年提出的研究。
本研究主要解决风格转换的耗时问题。
风格转换主要使用以上的网络模型，分为左侧的图像转换网络和右侧的损耗网络两部分。
其超分辨率重建也采用上述网络模型，但具体内部图像转换网络部分略有不同。
相比之前的研究，这个网络的效果已经达到了相当的水平，但是速度却提高了100倍，达到了三个数量级。
关于作者
艺术线项目的作者是维吉什马德哈万。
在GitHub中，他承认自己不是程序员，也指出了目前ArtLine的一些缺陷，比如在处理像素小于500px的图像时，效果并不理想。
现在，ArtLine可以在线玩了！