| 问题 | 描述 | 表达式描述 | 表达式 |
|---|---|---|---|
| 单变量线性回归 | 只含有一个特征/输入变量 | 一元一次表达式 |  |
| 多变量线性回归 | 含有多个特征/输入变量 | 多元一次函数 |  |
| 多项式回归 | 含有多个特征/输入变量 | 多元多次函数 |  |
| 逻辑回归 | 含有多个离散输出，解决分类问题 | sigmoid函数 |  |
| 过拟合 | 有效适应训练集，但泛化性能差 | 1、剔除一些不必要特征，如PCA 2、正则化，保留所有特征，但减少参数的大小 |
| 问题 | 梯度下降 |
|---|---|
| 单变量线性回归 | |
| 多变量线性回归 |
特征缩放： 学习率： |
| 逻辑回归 | 等价于 求偏导得： |
| 正则化 | 修改代价函数： 令λ值很大，为了使cost function很小，所有θ（不包括θ0）都会一定程度较少。 |
| 正则化线性回归 | |
| 正则化逻辑回归 | |
