Linear Regression Problem

Linear Regression Algorithm

• 向量內積 有交換律
• 此時 $E_{in}(w)$ 可以化簡成 $\frac{1}{N}||Xw-y||^2$

• 想要找到最小的 $E_{in}$
• 此時變數只有 $w$, 因為X和y皆已知
• 若 $E_{in}$ 已經在最低點了，則 $E_{in}$ 對所有方向上的w做偏微分的結果都應該要為0
• 因此目的變成: 找到 $\nabla E_{in}(w_{Lin}) = 0$
• 註: nabla運算子 $\nabla$

• 向量平方即自己的內積
• 微分後結果為 $\nabla E_{in}(w) = \frac{2}{N}(X^TXw-X^Ty)$

• $X^TX$ 的維度: d+1 * d+1
• 大部分情況下的 $X^TX$ 都是可逆的(與自由度有關), 若不可逆, 寫程式時某些語言有內建支援 pseudo-inverse
• 計算 $w = X^\dagger y$

• 記得使用 $w_{Lin}$時， $\hat y = Xw_{Lin}$

Generalization Issue