【正则化应用】正则化在线性回归以及逻辑回归中的应用

命题：
h_θ(x)=y=θ₀+θ₁*x₁+θ₂*x₂+θ₃*x₁²+θ₄*x₂²
正则化的思路需要分析每个参数对结果的影响，如果该参数对结果影响不大，则就需要把该参数拿掉，反之，则需要保留该参数。
如果我们θ₃是一个很小的参数，例如：0.00023，则我们认为θ₃*x₁²是一个多余项；

所以对原来代价函数做如下调整（使用λ来调整前后两个表达式之间的权重关系）：

针对上述的表达式求导：

以下的代码并未对θ₀进行特殊调整。代码如下：

%入参：rap表示回归计算的步长
%入参：minvalues表示回归计算的最小偏差，如果小于该值则表示拟合成功，返回TheTa
%入参：maxtimes表示最大拟合次数，如果达到该次数，即使没有拟合成功，也返回最后一次的TheTa值
%入参：x表示x的矩阵,i*J的矩阵，代表训练集有I个，X有J-1个变更，其中X(0)=1
%入参：y表示结果集,i*1的矩阵，其中训练集有i个
%入参：theta表示参数集，j*1，表示有J个参数；
%出参：Theta表示经过训练后的参数结果，对应于theta
%出参：bResult表示经过训练后,是否达到目标的拟合结果，即两次的回归的最小偏差小于minvalues
%出参：Thsl表示训练结果,[n,2]其中n代表训练了多少次，第一列记录训练次数，第二列记录本次训练后的最小偏差。
function [TheTa,bResult,Thsl] = RepeatGetMini(rap,minvalues,maxtimes,r,x,y,theta)
  curtimes=0;
  m=size(theta)(1);
  while true,
    curtimes=curtimes+1;
    J1=costFunctionJ2(x,y,theta);
    tmpmartrix=theta'*x'-y';
    %计算两个theta的值，由于计算导数的函数不一样，这里无法写成For循环去计算导数
    %theta1=theta1-(rap/m)*(后面j从0到m求和)(theta1*x(i)-y(i))*x(i)
    %...到j，下面的表达达就是theta=theta-(tmpmartrix*x)'.*(rap/m)就上面所说的矩阵
	***theta=theta.*(1-rap*r/m)-(tmpmartrix*x)'.*(rap/m);***    
    J2=costFunctionJ2(x,y,theta);
    steperr=J2-J1;
    Thsl(curtimes,:)=[curtimes,steperr];
    
    if abs(steperr)<=minvalues,
      TheTa=theta;
      bResult=true;
      break;
    elseif curtimes>= maxtimes,
      TheTa=theta;
      bResult=false;
      break;
    end;
   end;
end;

%计算theta1+theta2*x1+theta3*x2,与y的方差
%X，特征项的矩阵列表[i*j]，i是记录集的条数，j代表参j-1数的个数(其中x0的列恒为1)，x1,x2...xj
%y，结果矩阵列表[i*1]
%theta，为参数列表[j*1]
function J = costFunctionJ2(X,y,theta)
  m=size(X,1);
  predictions=theta'*X';
  sqrtmp = predictions - y';
  sqrErrors=sqrtmp.^2;
  J=1/(2*m)*sum(sqrErrors);
 end;