Logistic Regression (SGD)
Mahout中涉及到的算法
1 线性回归
了解逻辑回归之前先了解下线性回归：因变量和自变量之前存在线性关系。一般模型如下：
从一般模型可以看出Y和X(X1,X2,X3...)之间存在线性关系。线性回归的目的就是为了确定因变量和自变量的关系程度，换言之，就是求回归模型的参数。
2 逻辑回归
(1) why need it?
要说逻辑回归的优点，自然要先说下线性回归的缺点，主要有难以处理以下两个问题
a. 因变量Y如果不是数值型
b. 因变量与自变量不存在线性关系
(2) 逻辑回归的一般形式
P是概率，是某个事件发生的概率，处理类别属性，例如是否是男性，是否是色狼？
而且进行了logit变换。也就是说logit(P)与自变量之间存在线性关系，而p显然和X不存在线性关系。
那为什么是logit变换，不是XXX其他的变换，这里有一个前提假设：概率与自变量的关系往往是 S 型的曲线
(3)参数估计
模型有了，需要利用已知的样本来进行参数估计，最大似然估计用的比较多。mahout中用的是随机梯度下降法(SVD)。此处介绍下随机梯度下降法。
a. 梯度下降法
搜索寻优的一个过程，假定一个初始状态，然后不断更新，知道达到目标函数的极小值。其中
称为学习率，他决定梯度下降搜索的步长。算法流程如下：
b. 随机梯度下降
sgd解决了梯度下降的两个问题： 收敛速度慢和陷入局部最优。修正部分是权值更新的方法有些许不同。不做详细介绍。