Matlab异常值处理
在对数据进行预处理中，我们经常会遇到异常值和缺失值的情况，下面我们对这两种情况的常用技术进行介绍，希望能帮到大家。
在数据既有异常值又有缺失值时，先处理哪个并没有严格的顺序。我习惯先处理异常值，再处理缺失值
异常值的识别方法
异常值，指的是样本中的一些数值明显偏离其余数值的样本点，所以也称为离群点。常见的异常值判断方法可以分为以下两种情况：
数据给定范围
数据没有给定范围
3sigma原则
- 前提是要正态分布，才可以用3sigma原则确定异常值。
- 历史经验：身高
- 统计：正态性检验
- 如果要缩小一点区间，多去除一些异常值
- 可以用2sigma
x = [48 51 57 57 49 86 48 53 59 50 48 47 53 56 60]; % 假设x是取自正态分布的样本
u = mean(x,'omitnan'); % 忽略数据中的缺失值计算均值
sigma = std(x,'omitnan'); % 计算标准差 std(x,0,'omitnan')是总体标准差
lb = u - 3*sigma % 区间下界，low bound的缩写
ub = u + 3*sigma % 区间上界，upper bound的缩写
tmp = (x < lb) | (x > ub);
ind = find(tmp)
返回6，意味着第6个位置是异常值
- 通常不知道总体是否是正态分布的时候，我们用箱线图来去除异常值
- 通常来说箱线图比3sigma去除的异常值要多
- 通常k取1.5，当然也可以取其他的
箱线图识别异常值
x = [48 51 57 57 49 86 48 53 59 50 48 47 53 56 60];
% 计算分位数的函数需要MATLAB安装了统计机器学习工具箱
Q1 = prctile(x,25); % 下四分位数
Q3 = prctile(x,75); % 上四分位数
IQR = Q3-Q1; % 四分位距
lb = Q1 - 1.5*IQR % 下界
ub = Q3 + 1.5*IQR % 上界
tmp = (x < lb) | (x > ub);
ind = find(tmp)
去除异常值后咋办
识别出异常值后，我们通常可以将异常值视为缺失值，然后交给缺失值处理方法来处理。
代码：x(ind) = nan （注意：如果有多列数据都需要处理，可以写一个循环。）
x(ind) = nan % 这里的nan表示非数字Not-a-Number,例如0/0就会返回nan，我们这里可以用nan代表数字中的缺失值
- 如果数据给定范围，那么很容易找到异常值
- 如果数据没给定范围，那么一般偷懒不做
- 除非数据很离谱，或者影响了模型的训练效果
内容来源：数学建模清风第四次直播：
利用matlab快速实现机器学习
配套的讲义和后续视频
欢迎大家学习