机器学习笔记(十四):异常检测

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/cg129054036/article/details/84945866

目录

1)Problem motivation

2)Gaussian distribution

3)Algorithm

4)Developing and evaluating an anomaly detection system

5)Anomaly detection vs. supervised learning

6)Choosing what features to use


1)Problem motivation

下面是异常检测的两个例子:识别欺骗和检测数据中心

2)Gaussian distribution

我们来回顾一下大学时学的高斯分布:

扫描二维码关注公众号,回复: 4471397 查看本文章

                                                                   p(x;u;\sigma)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}}

下面是高斯分布的例子:

在实际应用中,我们可以这样求参数:

\mu =\frac{1}{m}\sum_{i=1}^{m}x^{(i)}

\sigma^2=\frac{1}{m}\sum_{i=1}^{m}(x^{(i)}-\mu)^2

3)Algorithm

1.数据集:{x^{1},x^{2},...,x^{m}}

2.计算每一个特征的\mu;\sigma^2;

3.概率计算:p(x)=\prod_{j=1}^{n}p(x_j;\mu_j;\sigma^2_j)

4)Developing and evaluating an anomaly detection system

具体的评价方法如下:

1)根据训练集数据,我们估计特征的平均值和方差并构建模型;

2)对交叉验证集,我们尝试使用不同的\varepsilon作为阈值,并根据F1值或者准确率与召回率选择阈值;

3)在测试集上进行预测;

5)Anomaly detection vs. supervised learning

6)Choosing what features to use

1)将数据转换为高斯分布;

2)误差分析;

3)构建新特征;

猜你喜欢

转载自blog.csdn.net/cg129054036/article/details/84945866