注：所用资料为周志华《机器学习》，以及自己对网络上学习的总结，侵删
3.3 对数几率回归
1.预备数学知识
1.1代价函数
代价函数：cost function
设有训练样本(x, y)，模型为h，参数为θ。h(θ) = θTx。
能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数叫做代价函数C(θ)，如果有多个样本，则可以将所有代价函数的取值求均值，记做J(θ)。
关于代价函数的性质：
代价函数并不唯一；
代价函数是参数为θ的函数；
总的代价函数J(θ)可以用来评价模型的好坏，代价函数越小说明模型和参数越符合训练样本(x, y)；
J(θ)是一个标量
1.2正则化（regularization）
避免过拟合
L1正则化
2.solution（今日学习重点）
主要是两点：梯度下降法和正规方程
梯度下降法
1.代价函数：上文提到
theda代表参数（比如权重），x是自变量
（终于看到矩阵乘法了【微笑】）
2.损失函数（好像也有叫error function）
（这个错误的函数不是这个函数错了，是他的名字叫错误）
步骤：
1）首先对θ赋值。
2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。
3.那么如何改变一下theta呢？
这时我们需要了解学习率
注：学习率常以1/3/10改变
这些公式还有矩阵相关算法，电脑没电就明天补上好了！