ML Lecture 10: Convolutional Neural Network

Why/When Use CNN?

AlphaGo

• filter size: 第一層的filter size應該設定成"看到最基本的pattern所需要的size"，以AlphaGo下圍棋而言，size就是5x5
• 同樣的pattern在不同的位置仍然代表相同的意義(ex: 圍棋的"叫吃"在棋盤各處都代表相同意義)
• input size: 19x19x48，19x19的棋盤，而48這部分有加入domain knowledge，是棋盤中每個座標的狀況(共48個)
• AlphaGo 並沒有使用maxpooling (圍棋的特性不適合)

Spectrogram

• 男性女性在音頻上可能不一樣，但是說出同一句話時，pattern是一樣的，但分布在不同的frequency上，因此filter在frequency軸上移動會是比較有意義的
• 以spectrogram而言，filter並沒有必要在time軸上移動，因為CNN後端通常會接其他的classifier例如LSTM，已經能夠判讀時間序列資料。