免费试用
banner
行业资讯>大数据技术与应用>用R进行数据清洗

使用R进行数据清洗

作者: afenxi来源: afenxi时间:2016-12-19 12:21:380

摘要:数据清洗是整个数据分析过程中一个非常重要的环节。数据清洗的目的有两个,第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。本篇文章将介绍几种简单的使用R进行数据清洗的方法。

数据清洗是整个数据分析过程中一个非常重要的环节。数据清洗的目的有两个,第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。本篇文章将介绍几种简单的使用R进行数据清洗的方法。 使用R进行数据清洗-数据分析网

读取并创建数据表

首先将数据读取到R中,并创建名为loan的数据表。后面我们将对这个数据表进行清洗。

1 2 #读取并创建数据表 loan=data.frame(read.csv(loan.csv,header = 1))

使用head函数查看数据表的前5行。

1 2 #查看数据表前5行 head(loan) 使用R进行数据清洗-数据分析网 数据清洗 重复值

使用duplicated函数查看数据表中的用户ID列是否存在重复值,duplicated函数返回该字段每一行的检查结果,重复的标记为TURE,不重复的值标记为FALSE。在下面的结果中可以看到数据表的用户ID列最后四个值为重复值。

1 2 #查看特定列是否有重复 duplicated(loan$member_id)

[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE [23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRUE TRUE

对于包含重复值的数据表,可以使用unique函数提取数据表中的唯一值,并用唯一值覆盖原有数据,达到去除重复值的目的。下面的代码提取了loan数据表中的唯一值,并重新赋给loan数据表。此时loan数据表中就不包含重复值了。

1 2 #删除重复值,返回唯一值列表 loan=unique(loan)

去除完重复值后,再次使用duplicated函数查看,返回的结果中都为FALSE,已经没有重复值了。

1 2 #查看重复值 duplicated(loan$member_id)

[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE [23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE

查找空值

使用is.na函数查看数据表中的空值,和重复值一样,空值在结果中显示为TURE,非空值显示为FALSE。下面是对loan数据表检查空值的代码和结果。

1 2 #查找数据表中的空值 head(is.na(loan),n = 10) 使用R进行数据清洗-数据分析网

除了对数据表查看空值以外,还可以对表中特定的列检查空值,在is.na函数中输入表和列的名称,就会看到该列中空值的情况,TRUE为空值,FALSE为非空值。

1 2 #查看特定列中的空值 is.na(loan$loan_amnt)

[1] FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE [23] TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE

填充空值

对于数据表中的空值,有两种处理方法,第一种是用0进行填充,第二种是删除包含空值的行。下面是第一种方法,将loan表中的空值填充为0.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 #将空值填充为0 loan[is.na(loan)] <- 0 [/code] 第二种方法使用 删除loan表中包含有空值的行。 [code lang="r"] #删除空值所在行 loan<-na.omit(loan) [/code] <h2> 大小写转换</h2> 英文字母的大小写和字符间的空格是影响数据统计的一个常见原因。例如下面我们使用table函数对数据表按贷款状态进行汇总时,相同的贷款状态由于大小写和空格被分割成多种状态。造成统计数据不可用。下面我们对这个字段进行大小写转换和去除空格的清洗。 #按贷款状态进行汇总 table(loan$loan_status)

Fully Paid charged off Charged Off Charged Off Current fully paid fully Paid Fully paid Fully Paid 1 1 8 1 1 2 1 1 15

将英文字母转换为小写的函数是tolower,下面的代码中我们将贷款状态列统一转化为小写字母,然后重复赋给数据表中的贷款状态列。

1 2 #将贷款状态转换为小写 loan$loan_status=tolower(loan$loan_status)

转化完成后,再次使用table函数按贷款状态进行汇总,下面下面的结果中可以看到分类从之前的8个减少到了4个,并且的分类都为小写字母。下面我们在继续进行空格清洗。

1 2 #按贷款状态进行汇总 table(loan$loan_status)

fully paid charged off charged off current fully paid 1 9 1 1 19

去除两侧空格

去除字符间的空格比大小写转换要复杂一些,首先我们将需要去除空格的列单独拿出来。

1 2 #提取贷款状态列 loan_status=as.vector(loan$loan_status)

然后使用trim函数去除该列中的空格,trim函数在raster包中,因此需要先安装raster的包。

1 2 #安装raster包 install.packages(raster)

安装完成后加载raster包。

1 2 #加载raster包 library(raster)

加载完raster包后,使用trim函数去除贷款状态字符中的空格。

1 2 #去除贷款状态字段中的空格 loan_s=trim(loan_status)

使用去除完空格的贷款状态覆盖数据表中原有的贷款状态列。

1 2 #覆盖原有贷款状态字段 loan$loan_status=loan_s

去除完空格后,再次按贷款状态进行汇总,结果从5个减少为3个,恢复正常。

1 2 #按贷款状态进行汇总 table(loan$loan_status)

charged off current fully paid 10 1 20

查看数据类型

使用typeof函数可以查看数据表中字段的数据类型,下面的代码对数据表中的用户收入字段进行数据类型查看,结果为double型。

1 2 3 #查看用户收入字段的数据类型 typeof(loan$annual_inc) [1] "double" 更改数据类型

使用as.integer函数将用户收入字段的数据类型由double型转化为integer型。

1 2 #将用户收入字段更改为integer loan$annual_inc=as.integer(loan$annual_inc)

转化后再次使用typeof函数查看数据类型,此时已经显示数据类型为integer。

1 2 #查看用户收入字段 typeof(loan$annual_inc)

[1] "integer"

数据预处理 数据分列

很多时候我们需要对一列数据进行分裂处理,在excel中直接使用分列功能就可以完成,在R中,使用strsplit函数也可以实现。首先将需要分列的列单独提取出来。这里我们需要对贷款期限进行分裂。

1 2 #提取贷款期限字段 term=as.vector(loan$term)

[1] " 36 months" " 60 months" " 36 months" " 36 months" " 60 months" " 36 months" " 60 months" " 36 months" " 60 months" " 60 months" [11] " 60 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" [21] " 60 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" " 36 months" " 60 months" " 36 months" " 36 months" [31] " 36 months" " 60 months" " 36 months" " 36 months"

然后使用strsplit函数对贷款期限进行分列,分列的依据是空格。具体代码和分列的结果如下所示。

1 2 #使用空格对字段进行分裂 strsplit(term, )

[[1]] [1] "" "36" "months" [[2]] [1] "" "60" "months" [[3]] [1] "" "36" "months"

除了分列以外,还可以对一个字段中的某些信息进行提取,并单独形成一列进行分析。下面我们对贷款日期中的月份进行提取,并合并到原数据表中。提取月份所使用的函数为substr。下面的代码中对贷款日期字段的4-6位进行提取,这部分对应着月信息。

1 2 3 4 #提取贷款日期字段中的月信息(4-6位) month=substr(loan$issue_d,4,6) #查看提取的月信息 month

[1] "Jun" "Sep" "Jun" "Apr" "Jun" "Jan" "May" "Dec" "Aug" "Mar" "Dec" "Aug" "Nov" "Jun" "Mar" "Jun" "Apr" "May" "Jul" "Feb" "Jun" "Jun" [23] "Jun" "Mar" "Mar" "Sep" "Jun" "May" "Jun" "Dec" "Jun" "May" "Jun" "Dec"

将提取出来的月信息与原数据表合并,并查看前5行数据,从下面的结果中可以看出第一列是新增加的月信息。

1 2 #将月信息与原贷款表合并并查看前5行 head(cbind(month,loan)) 使用R进行数据清洗-数据分析网

banner
看过还想看
可能还想看
热点推荐
Yonghong的价值观:以卓越的数据技术为客户创造价值,实现客户成功。
免费试用