过拟合与欠拟合
欠拟合:模型不能很好地适应训练集
过拟合:模型可以很好地适应训练集,但对于新输入的数据预测结果并不好
非参数学习算法(non-parametic learning algorithm)
又称局部加权回归(locally weighted regression),更加注重对临近点的精确拟合。
loss function:, 其中
当数据集很大时,计算的代价很高
逻辑回归(logistic regression)
个人感觉是由于线性回归的结果范围太大,在一直y取值在[0,1]之间时,利用sigmoid函数将结果映射到0-1之间。
logistic function:
假设:;
通过最大化theta的似然函数求最优解:
对数似然函数更容易处理:
通过梯度下降求最优解:
;
感知器(Percepton)
感知器阶跃函数,形式为: