免费试用
banner

R语言中离群值的识别、描述、绘制与移除

作者: afenxi来源: afenxi时间:2017-02-01 15:42:310

摘要:统计学中离群值被定义为离开大部分观测较远的样本点,多数是由于测量误差而产生。因此,数据分析中离群值的识别和移除(如有必要)是很重要的一个步骤。

摘要:统计学中离群值被定义为离开大部分观测较远的样本点,多数是由于测量误差而产生。因此,数据分析中离群值的识别和移除(如有必要)是很重要的一个步骤。

鉴定离群值的方法有很多种,包括基于标准差的方法和基于四分位距的Tukey法。本文我将使用不依赖余数据分布类型的Tukey法做演示,该方法的另一个优势是无需考虑数据均值和方差,而这两个统计量恰恰很容易被极端值(离群值)影响。

脚本

我写了一个脚本来识别、描述、绘制并移除离群值。我先利用箱线图来鉴定样本点是否为离群值。在R中可以使用boxplot.stats()$out命令来绘制这个图,该图能利用Tukey法将游离在1.5倍四分位距外的样本点单独绘制出来。在描述数据时,我喜欢汇报数据中离群值的百分比和其均值,同时我也会分别计算包含和移除离群值后数据的均值。而在各种数据图中,箱线图和直方图值最能体现离群值的存在感,因此在下面的脚本中,我将绘制包含和移除离群值的这两类图形。最后,在Selva的帮助下,我添加了一个简单问题(是/否)来询问是否要保留离群值。如果选择是,那么离群值将被NA取代。

脚本如下:

outlierKD <- function(dt, var)

你可以直接运行这些代码,只要把其中的数据集和变量的名称替换下。

source("http://goo.gl/UUyEzD") outlierKD(dat, variable)

一个例子:

Outliers identified: 58 Propotion (%) of outliers: 3.8 Mean of the outliers: 108.1 Mean without removing outliers: 53.79 Mean if we remove outliers: 52.82 Do you want to remove outliers and to replace with NA? [yes/no]: y Outliers successfully removed

绘制的图形的例子:

R语言中离群值的识别、描述、绘制与移除-数据分析网

我知道这个脚本还可以添加不少功能和细节,很多地方还能优化。欢迎各位给我提供反馈。

你可以直接在下方留言,或者在Twitter上联系我。

作者 Klodian Dhana

译者 钱亦欣

原文刊载于datascience+网站

链接:http://datascienceplus.com/identify-describe-plot-and-removing-the-outliers-from-the-dataset/

banner
看过还想看
可能还想看
热点推荐
Yonghong的价值观:以卓越的数据技术为客户创造价值,实现客户成功。
免费试用