Logistic Regression as a Neural Network

Binary Classification

Logistic Regression

可以參考這個

• Linear Regression 找出 $w^T$ 和 $$b$$ 使得 $\hat y = w^Tx+b$ 最貼近真實資料的 $y$ , 即使得cost function最小化

• Logistic Regression 找出 $w^T$ 和 $b$ 使得 $\hat y = \sigma({w^Tx+b})$ 最貼近真實資料的 $y$ (範圍為0~1)

• Sigmoid Function

  $\sigma(z) = \frac{1}{1+e^{-z}}$

Logistic Regression: cost function

Linear Regression的 Loss(Error) Function一般使用Square Error 但是Logistic Regression 的 Loss Function使用$L(y,\hat y) = y \log \hat y + (1-y)\log (1-\hat y)$ 註: $y$ 為實際資料y值, $\hat y$ 為預測出來的y值

Cost Function使用training data中每一筆資料經由 Loss Function算出來的結果做平均 $J(w,b)=\frac 1 m \sum\limits_{i=1}^m L(y^{(i)},\widehat y^{(i)})$ 註: $y^{(i)}$ 即第i筆資料的y值

Gradient Descent

重複以下步驟：

$w := w - \alpha \frac{\partial J(w,b)}{\partial w}$ $b := b - \alpha \frac{\partial J(w,b)}{\partial b}$

註: $\alpha$ 為 learning rate

Derivatives

More Derivatives examples

Derivatives of a Computation Graph

以 $J = 3(a+bc)$ 為例子 Computation Graph會長這樣

在寫code的時候, 我們姑且以 d_a 表示 $\frac{\mathrm{d} J}{\mathrm{d}a}$ , 其他諸如d_u, d_v等以此類推

下圖為計算d_a, d_b...

Logistic Regression Gradient Descent

Backpropagation 的目的: 經由最終的Loss Function來回推 $w^T$ 中的各個 $w_i$ 應該以什麼比例來調整, 如下圖

計算$\frac{\mathrm d L(a,y)}{\mathrm d z}$:

$\frac{\mathrm d L(a,y)}{\mathrm d z} = \frac{\mathrm d L(a,y)}{\mathrm d a} \times \frac{\mathrm d a}{\mathrm d z}$ $\frac{\mathrm d a}{\mathrm d z} = a(1-a)$ $\frac{\mathrm d L}{\mathrm d a} = -\frac{y}{a} + \frac{1-y}{1-a}$

所以

$\frac{\mathrm d L(a,y)}{\mathrm d z} = a-y$

Gradient Descent on m examples

for i = 1 to m

• 算z和a是為了算誤差(J)總和, 最後再除以資料數量m
• 算dz是為了計算dw和db(w和b對cost function的影響)總和, 最後再除以m