15.异常检测 Anomaly detection
觉得有用的话,欢迎一起讨论相互学习~Follow Me
15.1问题动机 Problem motivation
飞机引擎异常检测
- 假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行 QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。如下图所示：$x_1,x_2,x_3...$ 用以表示测量得到的飞机引擎的特征。而数据集中的m个数据用${x^{(1)},x^{(2)},x^{(3)}...x^{(m)}}$表示
- 这样一来，你就有了一个数据集，从 $x^{(1)}到x^{(m)}$，如果你生产了 m 个引擎的话，你将这些数据绘制成图表，看起来就是这个样子：
- 这里的每个点、每个叉，都是你的 无标签数据 。这样，异常检测问题可以定义如下：假设后来有一天，你有一个新的飞机引擎从生产线上流出，而你的新飞机引擎有特征变量$x^{test}$。所谓的异常检测问题就是：希望知道这个新的飞机引擎是否有某种异常，或者说，我们希望判断这个引擎是否需要进一步测试。因为，如果它看起来像一个正常的引擎，那么我们可以直接将它运送到客户那里，而不需要进一步的测试。
- 给定一个训练集，然后对训练数据进行建模即$p^{(x)}$,即对飞机引擎的特征进行建模，然后当给定一个新的数据即$x^{(test)}$,如果概率$P^{(test)}$低于阈值ε-- 那么就将其标记为异常，如果概率$P^{(test)}$大于等于阈值ε-- 那么就将其标记为正常
- 观察模型，将会发现在中心区域的这些点概率相当大，而稍微远离中心的点概率会少些，而离中心更远的点，其概率会更小即出现异常的概率会更大，而最外的标记点就是 异常点(anomaly) ,而中心区域的点P(x)很大即是 正确的点
这种方法称为 密度估计 表达如下：
$$if p(x)\begin{cases}\le\epsilon anomaly\> \epsilon normal\
\end{cases}$$欺骗识别
- 使用$x^{(i)}表示第i个用户的行为特征$，通过检测是否有$p(x)<\epsilon$来断定用户是否是一个非正常用户。
异常检测主要用来识别欺骗。例如在线采集而来的有关用户的数据，一个特征向量中可能会包含如：$x_1$用户多久登录一次，$x_2$访问过的页面，$x_3$在论坛发布的帖子数量，甚至是$x_4$打字速度等。尝试根据这些特征构建一个模型，可以用这个模型来识别行为异常的用户。
数据中心异常检测
特征可能包含：$x_1$内存使用情况，$x_2$被访问的磁盘数量，$x_3$CPU的负载，$x_4$网络的通信量等。根据这些特征可以构建一个模型，用来是否有$p(x)<\epsilon$来判断某些计算机是不是有可能出错了
15.2高斯分布 Gaussian Distribution
- 通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2)则其概率密度函数为：
其中$\mu $表示数据的平均值而$\sigma^2$表示样本的方差，横轴表示数据的值，而纵轴则表示此值出现的概率密度，图像与一段范围内的横轴包围的面积即为x的取值落在此范围内的概率，其图像如下图所示：
其中$\mu$控制图像的中线所在位置，而$\sigma$控制图像的宽度，并且对于概率密度函数而言，其与坐标轴包围的区域的面积始终为1 - 利用已有的数据来预测总体中的$\mu 和 \sigma^2$的计算方法如下：
其中统计学家认为计算方法中的分母应该为(m+1),而机器学习学者则认为其中的分母为m也很合适，当时数据量十分巨大时，分母为m或者为(m+1)实质上没有很大的区别。
15.3非监督学习的异常检测算法
- 假定有共m个样本的无标签训练集，训练集中的每个样本都是一个$R^n$维的特征向量。
则处理异常检测的方法是 使用数据集建立起概率模型p(x) 试图通过特征量的乘积来对样本的异常状况进行检测。 - 假设特征量之间是相互独立的，则概率模型可表示为特征量的概率的乘积：$$P(x)=p(x_1)p(x_2)p(x_3)...p(x_n)$$
假设特征都是分散的，并且 服从高斯正态分布 则概率模型可表示为$$p(x)=p(x_1;\mu_1,\sigma_1)p(x_2;\mu_2,\sigma_2)p(x_3;\mu_3,\sigma_3)...p(x_n;\mu_n,\sigma_n)$$即$$\prod^{n}_{j=1}p(s_j;\mu_j,\sigma_j^2)$$
异常检测算法概述
- 挑选对异常检测有用的特征$x_i$
- 计算每个特征的均值和方差$\mu_1,\mu_2,,u_3...,\mu_n,\sigma_1^{2},\sigma_2^{2},\sigma_3^{2}...\sigma_n^{2}$
给定样本x,计算概率p(x),$如果概率小于\epsilon$,则判断这个样本存在异常
异常检测示例
- 此时选定$\epsilon$大小为0.02，则计算样本点$x_{test}^{(1)}$的概率为0.0426，而计算样本点$x_{test}^{(2)}$的概率为0.0021。因此样本1可以被视为正常样本，而样本2则被视为异常样本。