What is neural style transfer?

notation

• C：content image
• S：style image
• G：generated image

What are deep ConvNets learning?

• 畫出前九張可以讓該 layer 的 neuron activation 最大的圖片

Layer 1

Layer 2

Layer 3

Layer 4

Layer 5

Cost Function

$J(G) = \alpha J_{Content}(C,G) + \beta J_{Style}(S,G)$

• 理論上只要一個 hyperparameter 就夠了，不過論文原作者使用了兩個

步驟

1. 隨機初始化 G
2. 使用 gradient descent 來最小化 $J(G)$
   • $G:=G-\frac{\partial}{\partial G}J(G)$

Content Cost Function

Content cost function

選擇第 $l$ 層 hidden layer 來計算 content loss

• 選擇靠前面的層 ($l$ 很小)來計算 content loss，則會迫使生成圖片 在 pixel 的層級上很像 content image C
• 選擇靠後面的層 ($l$ 很大)來計算 content loss，則只會確保生成的圖片裡面有該 neuron 想偵測的東西 (例如 狗) 就好
• 因此通常選擇靠中間的層來計算 content loss

步驟

1. 拿一個 pre-trained ConvNet (例如 VGG)
2. $a^{[l](C)}, a^{[l](G)}$ 分別是 C 和 G 的第 $l$ 層 output
3. 若 $a^{[l](C)}, a^{[l](G)}$ 很接近，則兩個 image 有類似的 content
   • $J_{Content}(C,G)=\frac{1}{2}||a^{[l](C)}-a^{[l](G)}||^2$

Style Cost Function

• 觀察不同 channel (即 neuron) 間的 activations 有多相關
  • 可以理解成 提取的 feature，同時出現的機率
    • ex: filter1 偵測橘紅色，filter2 偵測直條紋，它們相關度高表示橘紅色&直條紋常常一起出現；相關度低表示不常一起出現

Style Matrix

$G^{[l]}$ 矩陣 衡量任意兩個 channel 之間的相關度，可以用來表示該圖片的 style

• 詳細來說，其實是 unnormalized cross-covariance
• $G_{kk'}^{[l]} = \sum_\limits{i=1}^{n_H^{[l]}} \sum_\limits{j=1}^{n_W^{[l]}} a_{ijk}^{[l]} a_{ijk'}^{[l]}$
  • 如此就可以計算 $G_{kk'}^{[l](S)}$ 以及 $G_{kk'}^{[l](G)}$
  • 在線性代數中，G 也稱做 Gram matrix (格拉姆矩陣)
• $J_{Style}^{[l]}(S,G) = ||G^{[l](S)}-G^{[l](G)}||_F^2$
  • Frobenius Norm，矩陣所有元素的平方和
  • 乘個 normalize 用的常數 $\frac{1}{(2n_H^{[l]} n_W^{[l]} n_C^{[l]})^2}$ 也可以
• $\frac{1}{(2n_H^{[l]} n_W^{[l]} n_C^{[l]})^2} blablabla$

Style cost function

• 可以不只一層
• 如此可以同時考慮高階&低階特徵的相關度

$J_{Style}(S,G) = \sum_l \lambda^{[l]}J_{Style}^{[l]}(S,G)$