天下一半剑仙是我友
谁家娘子不娇羞
我以醇酒洗我剑
谁人说我不风流
1 设置问题
根据图片的尺寸，把图片分为纵向图像和横向图像。这种把图像分成两种类别的问题，就是二分类问题。
纵向图片示例：
横向图片示例：
这样就有了两个训练数据：
增加训练数据，并在图像中表示出来：
可以得到一条分隔两边的线，这次分类的目的就是找到这条线：
只要找到这条线，就可以根据点在线的哪一边来判断图像是横向的还是纵向的了。
2 内积
上面图中的直线像学习回归时的一次函数一样，但是这次我们不是求斜率与截距了，而是找向量了。
图中的虚线，是使权重向量成为法线向量的直线。
设权重向量为w ,那么那条直线的表达式就是这样的：
实向量空间的内积是各元素乘积的和，表达式也可以写成：
法线是与某条直线相垂直的向量。
和学习回归一样，使用假设法，现在我们假设权重向量w = (1,1)，代入表达式中可得：
在图中表示：
然后再把权重向量加上：
回到刚开始，一开始并不存在画的那条虚线，我们要先通过训练找到权重向量，最后才能得到与这个向量垂直的直线，最后根据这条直线就可以对数据进行分类了。
3 感知机
那么具体要怎么求出权重向量呢？
基本的做法和回归时相同，就是将权重向量用作参数，创建更新表达式来更新参数。
感知机模型（perceptron）
接受多个输入后将每个值与各自的权重相乘，最后输出总和的模型：
先准备一些训练数据。设表示宽的轴为x1，表示高的轴为x2，用y来表示图像是横向还是纵向的，横向的值为1，纵向的值为-1。
根据参数向量x来判断图像是横向还是纵向的函数，即返回1或者-1的函数fw(x)的定义如下:
这个被称为判别函数。
与权重向量w的内积为负的向量x是什么样的向量？
因为|w|和|x|必定为正数，所以决定内积符号的是cos θ。
cos θ的图：
在90◦＜θ＜270◦的时候cos θ为负。
在图中的体现：
积是衡量向量之间相似程度的指标。结果为正，说明二者相似；为0则二者垂直；为负则说明二者不相似。
根据上面的内容，可以推导出权重向量的更新表达式：
通过判别函数对宽和高的向量x进行分类的结果与实际的标签y是否相同：
判别结果准确，fw(x(i))=y(i)，即分类成功，直接代入w。
判别结果失败，即分类失败，不能直接代入w。
更新示例：
先随意画一个权重向量：
在这个状态下，假设第一个训练数据是x(1)=(125,30)：
w和x(1)之间的夹角θ的范围是90◦＜θ＜270◦，内积为负。也就是说，判别函数fw(x(1))的分类结果为-1，说明分类失败。
随后更新表达式：
这个w+x(1)就是下一个新的w，画一条与新的权重向量垂直的直线，相当于把原来的线旋转了一下：
刚才x(1)与权重向量分居直线两侧，现在它们在同一侧了：
这次θ＜90◦，所以内积为正，判别函数fw(x)的分类结果为1。而且x(1)的标签也为1，说明分类成功了。
这就是更新参数的权重向量。
4 线性可分
因为感知机只是简单的模型，他有一个很大的缺点，就是它只能解决线性可分的问题。
有下面这张图里的数据，其中圆点为1，叉号为-1，这样的图形无法用一条直线对这些数据进行分类。
这种感知机被称为简单感知机或单层感知机，实际上使用的神经网络是多层感知机。
5 逻辑回归
能应用于线性不可分问题的算法，这个算法与感知机的不同之处在于，它是把分类作为概率来考虑的。即图片为纵向的概率是，为横向的概率是，这里设横向的值为1、纵向的值为0。
需要能够将未知数据分类为某个类别的函数fθ(x)：
这个函数的名字叫sigmoid函数：
把未知数据x是横向图像的概率作为fθ(x)，表达式为：
P中的竖线是条件概率。
阈值为0.5，从而分类横向或纵向：
表达式改写：
下面像学习感知机时那样，设横轴为图像的宽（x1）、纵轴为图像的高（x2）。
然后像学习回归时那样，先随便确定θ再具体地去考虑。比如当θ是这样的向量时，画一下θTx≥0的图像：
代入数据：
画出不等式对应的图：
也就是说，我们将θTx=0这条直线作为边界线，就可以把这条线两侧的数据分类为横向和纵向了。
这种用于数据分类的直线称为决策边界。
实际应用时这个决策边界并不能正确地分类图像，是因为我们刚开始决定参数的时候太随意了。
为了求得正确的参数θ而定义目标函数，进行微分，然后求参数的更新表达式。这种算法就称为逻辑回归。
6 似然函数
现在来求参数的更新表达式。
首先要明确，既然fθ(x)是x为横向时的概率，那么在y=1时fθ(x)=1, y=0时fθ(x)=0的关系就是理想的。
简单来说：
- y = 1的时候，我们希望概率P（y = 1 | x）是最大的。
- y = 0的时候，我们希望概率P（y = 0 | x）是最大的。
作用在训练数据上：
假定所有的训练数据都是互不影响、独立发生的，这种情况下整体的概率就可以用下面的连个概率来表示：
想一想扔2次骰子的情况。第1次的结果是1点，且第2次的结果是2点的概率是多少呢？首先1点出现的概率是1/6，接下来2点出现的概率是1/6，二者连续发生的概率就要使用乘法计算，其表达式是这样的：
同理，第1次的概率是P(y(1)=0|x(1))，第2次的概率是P(y(2)=0|x(2))……我们要计算的是连续发生6次的概率。
联合概率的表达式一般化：
分开考虑，首先向指数y(i)代入1：
再代入y(i)代入0：
这就是它的目标函数，接下来考虑的是使这个目标函数最大化的参数θ。
回归的时候处理的是误差，所以要最小化，而现在考虑的是联合概率，我们希望尽可能大。
这里的目标函数L(θ)也被称为似然，函数的名字L取自似然的英文单词Likelihood的首字母。
7 对数似然函数
下面就是对似然函数进行微分，求出参数θ。
但是，直接对似然函数进行微分有点困难，在此之前要把函数变形，取似然函数的对数，两边加上log即可，如下：
然后把对数似然函数进行变形：
最后，逻辑回归就是将这个对数似然函数用作目标函数：
接下来，对各个参数θj求微分：
和回归的时候是一样的，我们把似然函数也换成这样的复合函数，然后依次求微分：
不过现在是以最大化为目标，所以必须按照与最小化时相反的方向移动参数：
为了与回归时的符号保持一致，也可以将表达式调整为下面这样：
8 线性不可分
逻辑回归应用于线性不可分问题。
下面的图像是线性不可分的：
对于这个问题，虽然直线不能分类，但是曲线可以分类：
我们可以像多项式回归一样，增加函数的次数：
假设参数，代入试试：
在图中的表示：
之前的决策边界是直线，现在则是曲线了。参数θ是随便定的，所以数据完全没有被正确地分类。
之后通过随意地增加次数，就可以得到复杂形状的决策边界了。比如在x1*2之外再增加一个x2*2，就会有圆形的决策边界。