数据挖掘入门与实战 ?公众号： datadw

数据分析有一半以上的时间会花在对原始数据的整理及变换上，包括选取特定的分析变量、汇总并筛选满足条件的数据、排序、加工处理原始变量并生成新的变量、以及分组汇总数据等等。这一点，我想大部分使用EXCEL的童鞋都深有体会，写论文时，这么多的数据进行处理，手动汇总、筛选、变换，工作量实在是太大。而本文介绍的dplyr包简直就是Hadley Wickham （ggplot2包的作者，被称作“一个改变R的人”）大神为我们提供的“数据再加工”神器啊。

本文试图通过一个案例，对神奇的dplyr包的一些常用功能做简要介绍。在此抛砖引玉，欢迎广大盆友拍砖。先放上实践课的一个问题：航行距离与到达延误时间有什么关系???带着这个问题，我们将首先使用dplyr包对给出的航班数据进行处理。

1.dplyr包的安装加载与示例数据准备

1.1 安装dplyr包

脚本输入代码：

install.packages("dplyr") #加载dplyr包

library(dplyr)

1.2安装 nycflights13包，该软件包中的飞机航班数据将用于本文中dplyr包相关函数的演示。

脚本输入代码：

install.packages("nyclights13") #加载nyclights13

library(nyclights13)

flights #查看数据表

dim(flights) #查看变量的维数

输出结果如下：

如图可知，nycflights13是一个data.frame类型的对象，包含336776条数据记录、19个变量。

在处理数据之前，让我们再来回顾一下数据处理的一般步骤：

选择子集、列名重命名、删除缺失数据、处理日期、数据类型转换、数据排序

接下来，就可以进行数据处理了：

2.数据处理

2.1 选择子集

所谓选择子集，就是选择出能够实现分析目标的变量，本次数据分析的目标是得出航行距离与延误时间的关系，因此，相应的子集就是以下几个字段：

year 航班日期-年

month 航班日期-月

day 航班日期-月

dep_delay 起飞延迟时间（分）

arr_delay 到达延迟时间（分）

distance 航行里程（英里）

dest 目的地

为此，我们首先使用dpylr包里的select函数，进行变量筛选：

脚本输入代码：

myFlights <- select(flights,year,month,day,dep_delay,arr_delay,distance,dest) #筛选变量列

myFlights #查看数据表

如图，子集选择完毕。

2.2 列名重命名

为了让列名简单易懂，可以使用rename函数，进行列名重命名。

脚本输入代码：

myFlights <- rename(myFlights,destination = dest)

myFlights

重命名完毕。

2.3 删除缺失数据

我们采用dplyr包中的filter()函数，进行缺失数据的删除。脚本输入代码：

myFlights <- filter(myFlights,!is.na(dep_delay),!is.na(arr_delay))

myFlights

由图可知，我们首先采用is.na()函数找出缺失值，再采用逻辑运算符“！X”将限定有效数据，最后用filter()函数“过滤”得到有效数据，成功地删除了缺失数据（由原先的336,776个数据变为327,346个数据）。

2.4 数据排序

为了数据的整齐性，我们可以选择相应的变量进行排序。这里要穿插一个排序函数arrange()，默认情况下，为升序排列，也可以对列名加desc()进行降序排序。脚本输入代码：

myFlights <- arrange(myFlights,desc(arr_delay))

myFlights

如图所示，数据按照变量arr_delay(到达延迟时间（分）)进行降序排列。

3.数据计算

数据处理之后，就进入计算分析步骤啦。在这个环节，主要历经三个过程：

数据分组（Split）：可以指定目标变量，将数据进行分组。由于本次分析的目标是找出航行距离与到达延误时间的关系，所以我们得根据到达目的地对数据进行分组，从而计算出不同目的地的平行航行距离以及平均延误时间；

应用函数(Apply)：对不同组的数据，应用相应函数获取所需统计指标。比如本次不同目的地的平行航行距离以及平均延误时间；

组合结果(Combine)：将计算后的统计指标值与第一步当中对应的分组进行组合。

3.1 数据分组

dplyr包里的分组是由group_by()函数实现的，脚本输入代码：

by_dest <- group_by(myFlights,destination)

class(by_dest)

by_dest

由图可知，经分组后，一共有104组数据，即本次分析的目的地有104个。

3.2 应用函数及组合结果

我们使用dplyr包中的summarize()函数，进行数据统计指标的获取及组合。计算出不同目的地的平行航行距离以及平均延误时间。脚本输入代码：

delay_sum <- summarise(by_dest,count = n(),#统计各分组目的地的航班数

dist = mean(distance,na.rm = TRUE),

delay = mean(arr_delay,na.rm = TRUE))

delay_sum <- arrange(delay_sum,desc(count)) #按照航班数降序排列

delay_sum

从上图可得知104个目的地的航班数排序。为了统计的科学合理性，需要对数据量太少的组别进行剔除，即剔除噪音数据，再次使用filter()函数剔除，剔除限度设为count>20。脚本输入代码：

delay_sum <- arrange(delay_sum,desc(count))

delay_sum <- filter(delay_sum,count > 20)

如上图可知，剩余97组数据，即本次参与统计的目的地有97个。

PS.这里穿插一个好用的工具，“管道”，即通过使用操作符把数据集名作为开头,然后依次对此数据进行多步操作。这种运算符的编写方式使得编程者可以按数据处理时的思路写代码,一步一步操作不断叠加，在程序上就可以非常清晰的体现数据处理的步骤与背后的逻辑。

通过管道的连接方式，让数据或表达式的传递更高效，使用向右操作符%>%，可以直接把数据传递给下一个函数调用或表达式。（%>%是最常用的一个操作符，就是把左侧准备的数据或表达式，传递给右侧的函数调用或表达式进行运行，可以连续操作就像一个链条一样。）拿上述的代码进行举例，在没用管道之前，代码是这样的：

by_dest <- group_by(myFlights,destination)#按目的地分组

delay_sum <- summarise(by_dest,#计算平均航行距离

delay = mean(arr_delay,na.rm = TRUE))#计算平均延误时间

delay_sum <- arrange(delay_sum,desc(count)) #按照航班数降序排列

delay_sum <- filter(delay_sum,count > 20)#剔除噪音数据

delay_sum#显示列表

用了管道“%>%”，代码是这样的：

delay_sum <- myFlights %>% #将右侧航行数据赋值给左侧delay_sum

group_by(destination) %>% #对delay_sum进行分组

summarise( count = n(),

dist = mean(distance,na.rm = TRUE)

) %>% #对分组后的delay_sum进行计算统计

filter(count > 20)#对统计结果进行噪音剔除

delay_sum#显示列表

果然简洁了很多！

4.数据显示

所谓一图胜千言啊，在大数据可视化普及的今天更是这样。本次同样使用Hadley Wickham 大神（ggplot2包的作者）贡献的ggplot2包进行绘图。调用ggplot()函数进行绘图，脚本输入代码：

ggplot(data = delay_sum) +

geom_point(mapping = aes(x = dist,y = delay)) +#绘制平均航程（dist）和平均延误时间(delay)的散点图

geom_smooth(mapping = aes(x = dist,y = delay))#拟合一条平滑曲线（注意，连接符号+不可省略）

所得结果如下所示：

由上图，我们就可以初步分析航程和延误时间并非线性关系，至于这种非线性关系该怎么解释，仍需进一步统计调查分析。

? ? ? ? ? ?

数据挖掘入门与实战

搜索添加微信公众号：datadw

教你机器学习，教你数据挖掘

长按图片，识别二维码，点关注

? 公众号： weic2c? ?
据分析入门与实战

长按图片，识别二维码，点关注