离群值(异常值)处理

佐佑思维 2022-06-10

四分位数异常值离群值

465 字丨阅读本文需 1 分钟

1、箱型图

Sample的是一个二维数组,每列为特征,总行数为样本总数

# 箱型图

plt.boxplot(Sample[:,0])

上四分位数(Q3),中位数,下四分位数(Q1)

上四分位数和下四分位数之间的差值,即四分位数差(IQR,interquartile range)=Q3-Q1

大于上四分位数1.5倍四分位数差的值,或者小于下四分位数1.5倍四分位数差的值,划为异常值,即 Q3+1.5IQR(四分位间距)和 Q1-1.5IQR 处画两条与中位线一样的线段,这两条线段为异常值截断点,称其为内限。

2、异常值剔除

# 若存在异常值,则删除该行数据,直接重新建立一个数组,另外保存剔除离散值所在行的数据

# 大于上四分位数1.5倍四分位数差的值,或者小于下四分位数1.5倍四分位数差的值,划为异常值(outliers)

sample_error=[] # 将非离群数据行位置存入新列表

for i in range(Sample.shape[1]): # 按列读取原文件

# 这里的情况是每一行为一类数值,该行内的数据相互比较找出是否有离群值

    data = Sample[:,i]

   #计算四分位点

    q1 = np.percentile(data, 25)

    q3 = np.percentile(data, 75)            

    iqr = q3 - q1        

   # 逐行找出异常值    normal_=0 # 记录每行的正常值数

   for j in range(Sample.shape[0]):

         item=data[j]

               # 在正常值范围内时,存储数据

                if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):

                       normal_=normal_+1

               # 出现异常值时,存储数据

               else:

                       sample_error.append(j)

       print('每列正常值的数量',normal_)

   print('存在异常值的Sample索引',sample_error)

利用 np.delete 剔除

Sample_del=np.delete(Sample, sample_error, axis=0)

print('剔除异常值后的数组大小',Sample_del.shape)

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:佐佑思维
0

参与评论

登录后参与讨论 0/1000