神经风格迁移,为了实现这个目的,需要查看卷积神经网络在不同层中提取的特征值(浅层和深层),深度神经网络究竟在学什么?
内容代价:
风格代价:
在中层中有一层是判断风格的,将风格定义为不同激活通道之间的相关系数,如图假设有5个通道,不同的通道用不同的颜色表示,如果他们高度相关,有其中一个颜色的部分也很大可能有另一个颜色的部分。相关性告诉你哪一些高层的纹理元素倾向于同时或者不同时出现。将通道之间的相关性作为量化风格的一种方式,在生成的图像中测量通道之间相关程度,可以得到生成的图片和输入的图片风格相似程度。
通过给定的照片计算出风格矩阵,矩阵中会记录所有的相关系数。
激活元之间的相关性,遍历图像中各个高度和宽度的位置,将两个通道的激活元相乘求和再相加。(gram矩阵)可以分别计算风格图片和生成图片的风格矩阵。
风格代价矩阵: