线性回归-机器学习（machine learning）笔记（Andrew Ng）

线性回归（linear regression）

梯度下降（gradient descent）

通过不断迭代使得cost function最小化，选择出我们需要的parameter $\theta$

hypothesis:

$$h_\theta(x)=\theta_0*x_0+\theta_1*x_1+···+\theta_n*x_n=\mathbf{ \theta }^T x,x_0=1$$

cost function:

$$J(\theta)=J(\theta_0, \theta_1, ..., \theta_n)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)}))^2$$

update：

$$\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta)$$

• learning rate $\alpha$ 的选择：$\alpha$大，收敛快，但可能会发散；$\alpha$小，收敛慢。所以不同的$\alpha$值，做实验，画出cost function与iteration的函数图，看哪个$\alpha$既使cost function下降快，又不会发散或振荡
• 加快收敛：特征缩放（feature scaling）、均值归一化（mean normalization）

标准方程（normal equation）

一步得到parameter $\theta$ 的最优值，并且不需要归一化
求解方法$\theta$：

$$\theta = (X^TX)^{-1}X^Ty$$
$$X=\begin{pmatrix} x_{0,0} & x_{0,1} & ... & x_{0,n} \\ ... & ... & ... & ... \\ x_{m, 0} & x_{m,1} &...&x_{m,n} \end{pmatrix}\\ y=[y_1, y_2,...,y_m]^T$$
$X$ 是 $m*(n+1)$维特征矩阵，第一列全为1； $n$是特征数， $m$是训练样本数量

todo：推导该式子

---

对比梯度下降和标准方程：

梯度下降	标准方程
需要选择$\alpha$	不需要选择$\alpha$
需要迭代	不需要迭代
在$n$很大时表现很好	因为需要计算$(X^TX)^{-1}$,在$n$很大时非常慢