机器学习实战单变量线性回归的实现

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

一、算法实现

由前面的理论，我们知道了用梯度下降解决线性回归的公式：

梯度下降解决线性回归思路：

算法实现：

ComputeCost函数：

function J = computeCost(X, y, theta)  m = length(y); % number of training examples J = 0; predictions = X * theta; J = 1/(2*m)*(predictions - y)'*(predictions - y);end

gradientDescent函数：

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)% X is m*(n+1) matrix % y is m*1% theta is (n+1)*1 matrix% alpha is a number % num_iters is number of iterators  m = length(y); % number of training examples J_history = zeros(num_iters, 1);  %cost function的值的变化过程 %预先定义了迭代的次数 for iter = 1:num_iters  temp1 = theta(1) - (alpha / m) * sum((X * theta - y).* X(:,1));  temp2 = theta(2) - (alpha / m) * sum((X * theta - y).* X(:,2));  theta(1) = temp1;  theta(2) = temp2;  J_history(iter) = computeCost(X, y, theta); endend

二、数据可视化

我们通过算法实现能够求出函数h(x)，但是我们还需要将数据可视化：

(1)画出训练集的散点图+拟合后的直线；

(2)画出J(theta)为z轴，theta0为x轴，theta1为y轴的三维曲线；

(3)画出(2)的三维曲线的等高线图；

1.画散点图+拟合的直线

描述：给定ex1data1.txt，文件中有两列数据，每一列代表一个维度，第一列代表X，第二列代表Y，用Octave画出散布图（Scalar Plot），数据的形式如下：

6.1101,17.592

5.5277,9.1302

8.5186,13.662

7.0032,11.854

5.8598,6.8233

8.3829,11.886

........

答：

(1) data = load('ex1data1.txt'); %导入该文件，并赋予data变量

(2) X = data( : , 1 )；Y = data( : , 2)； %将两列分别赋予X和Y

(3) X = [ones(size(X,1),1),X]; %在X的左边添加一列1

(4) plot(X,Y,'rx','MarkerSize', 4); %画图，将X向量作为X轴，Y向量作为Y轴，每个点用“x”表示，‘r’表示红点，每个点的大小为4；

(5) axis([4 24 -5 25]); %调整x和y轴的起始坐标和最高坐标；

(6) xlabel('x'); %给x轴标号为‘x’;

(7) ylabel('y'); %给y轴标号为‘y’;

最后见下图：

经过计算，算出theta值：

[theta,J_history] = gradientDescent(X, y, theta, alpha, num_iters);

即可通过：

plot(X(:,2), X*theta)； %画出最后拟合的直线

以上呈现了线性回归的结果；

以下两种都是可视化J(theta)；

2. Surface Plot

描述：数据如上一题一样，我们想要绘制出对于这些数据的cost function，我们将绘制出三维图形和contour plot；

我们如果要绘制cost function，我们必须预先写好cost function的公式：

function J = computeCost(X, y, theta)

m = length(y);

J = 0;

predictions = X * theta;

J = 1/(2*m)*sum((predictions - y) .^ 2);

end

实现：

(1) theta0_vals = linspace(-10, 10, 100); %从-10到10之间取100个数组成一个向量

(2) theta1_vals = linspace(-1, 4, 100); %从-1到4之间取100个数组成一个向量

(3) J_vals = zeros(length(theta0_vals), length(theta1_vals)); %初始化J_vals矩阵，对于某个theta0和theta1，J_vals都有对应的cost function值；

(4)计算每个（theta0，theta1）所对应的J_vals；

for i = 1:length(theta0_vals)

for j = 1:length(theta1_vals)

t = [theta0_vals(i); theta1_vals(j)];

J_vals(i,j) = computeCost(X, y, t);

end

(5) figure; %创建一个图

(6) surf(theta0_vals,theta1_vals,J_vals); %x轴为theta0_vals，y轴为theta1_vals，z轴为J_vals；

(7) xlabel('\theta_0'); %添加x轴标志

(8) ylabel('\theta_1'); %添加y轴标志

此图而且可以转动；

2.Contour Plot

实现：

(1) theta0_vals = linspace(-10, 10, 100); %从-10到10之间取100个数组成一个向量

(2) theta1_vals = linspace(-1, 4, 100); %从-1到4之间取100个数组成一个向量

(3) J_vals = zeros(length(theta0_vals), length(theta1_vals)); %初始化J_vals矩阵，对于某个theta0和theta1，J_vals都有对应的cost function值；

(4)计算每个（theta0，theta1）所对应的J_vals；

for i = 1:length(theta0_vals)

for j = 1:length(theta1_vals)

t = [theta0_vals(i); theta1_vals(j)];

J_vals(i,j) = computeCost(X, y, t);

end

(5) figure; %创建一个图

(6) contour(theta0_vals, theta1_vals, J_vals, logspace(-2, 3, 20)); %画等高线图

(7) xlabel('\theta_0'); ylabel('\theta_1');

如果我们想要在等高线图上画出线性回归的theta0与theta1的结果，则可以：

plot(theta(1), theta(2), 'rx', 'MarkerSize', 10, 'LineWidth', 2);

4.画图查看Learning Rate是否合理

我们在gradientDescent函数中返回的值里有J_history向量，此向量记录了每次迭代后cost function的值，因此我们只需要将x轴为迭代的次数，y轴为cost function的值，即可画图：

(1) [theta,J_history] = gradientDescent(X, y, theta, alpha, num_iters);

(2) figure;

(3) plot(1:length(J_history), J_history, '-b', 'LineWidth', 2);

(4) xlabel('Number of iterations');

(5) ylabel('Cost J');

当然，我们也可以将不同的alpha值都画在一张图上，可以比较取各个alpha时，cost function的变化趋势；

(1)alpha=0.01;

(2) [theta,J1] = gradientDescent(X, y, zeros(3,1), alpha, num_iters);

(3)alpha=0.03;

(4) [theta,J2] = gradientDescent(X, y, zeros(3,1), alpha, num_iters);

(5)alpha=0.1;

(6) [theta,J3] = gradientDescent(X, y, zeros(3,1), alpha, num_iters);

(7)plot(1:numel(J1), J1, '-b', 'LineWidth', 2);

(8)plot(1:numel(J2), J2, '-r', 'LineWidth', 2);

(9)plot(1:numel(J3), J3, '-k', 'LineWidth', 2);

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow

你好！这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

~~删除文本~~

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

创建一个自定义列表

Markdown: Text-to- HTML conversion tool
Authors: John; Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$ 是通过欧拉积分

$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

gantt
        dateFormat  YYYY-MM-DD
        title Adding GANTT diagram functionality to mermaid
        section 现有任务
        已完成               :done,    des1, 2014-01-06,2014-01-08
        进行中               :active,  des2, 2014-01-09, 3d
        计划一               :         des3, after des2, 5d
        计划二               :         des4, after des3, 5d

关于 甘特图 语法，参考这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

这将产生一个流程图。:

关于 Mermaid 语法，参考这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

关于 Flowchart流程图 语法，参考这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

mermaid语法说明 ↩︎
注脚的解释 ↩︎