python merge、concat合并数据集的实例讲解
数据规整化:合并、清理、过滤 pandas和python标准库提供了一整套高级、灵活的、高效的核心函数和算法将数据规整化为你想要的形式! 本篇博客主要介绍: 合并数据集:.merge()、.concat()等方法,类似于SQL或其他关系型数据库的连接操作。 合并数据集 1) merge 函数参数
1、多对一的合并(一个表的连接键列有重复值,另一个表中的连接键没有重复值) import pandas as pd import numpy as np df1 = pd.DataFrame({'key':['b','b','a','c','b'],'data1': range(7)}) df1
df2 = pd.DataFrame({'key':['a','d'],'data2':range(3)}) df2
pd.merge(df1,df2)#默认情况
df1.merge(df2)
df1.merge(df2,on = 'key',how = 'inner')#内连接,取交集
df1.merge(df2,how = 'outer')#外链接,取并集,并用nan填充
df1.merge(df2,how = 'left')#左连接,左侧DataFrame取全部,右侧DataFrame取部分
df1.merge(df2,how = 'right')#右连接,右侧DataFrame取全部,左侧DataFrame取部分
如果左右侧DataFrame的连接键列名不一致,但是取值有重叠,可使用left_on、right_on来指定左右连接键 df3 = pd.DataFrame({'lkey':['b','data1': range(7)}) df3
df4 = pd.DataFrame({'rkey':['a','data2':range(3)}) df4
df3.merge(df4,left_on = 'lkey',right_on = 'rkey',how = 'inner')
2、多对多的合并(一个表的连接键列有重复值,另一个表中的连接键有重复值) df1 = pd.DataFrame({'key':['b','data1': range(7)}) df1
df5 = pd.DataFrame({'key':['a','data2': range(5)}) df5
df1.merge(df5)
合并小结 1)默认情况下,会将两个表中相同列名作为连接键 2)多对多,会采用笛卡尔积形式链接(左表连接键有三个值‘1,3,5',右表有两个值‘2,3',则会形成,(1,2)(1,3)(3,1),(3,2)。。。6种组合) 3)存在多个连接键的处理 left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','one','two'],'lval':[1,2,3]}) right = pd.DataFrame({'key1':['foo','bar','rval':[4,5,6,7]}) left
right
pd.merge(left,right,on = ['key1','key2'],how = 'outer')
1)连接键是多对多关系,应执行笛卡尔积形式 2)多列应看连接键值对是否一致 4)对连接表中非连接列的重复列名的处理 pd.merge(left,on = 'key1')
pd.merge(left,on = 'key1',suffixes = ('_left','_right'))
2)索引上的合并 当连接键位于索引中时,成为索引上的合并,可以通过merge函数,传入left_index、right_index来说明应该被索引的情况。 一表中连接键是索引列、另一表连接键是非索引列 left1 = pd.DataFrame({'key':['a','c'],'value': range(6)}) left1
right1 = pd.DataFrame({'group_val':[3.5,7]},index = ['a','b']) right1
pd.merge(left1,right1,left_on = 'key',right_index = True)
有上可知,left_on、right_on是指定表中非索引列为连接键,left_index、right_index是指定表中索引列为连接键,两者可以组合,是为了区分是否是索引列 两个表中的索引列都是连接键 left2 = pd.DataFrame(np.arange(6).reshape(3,2),'e'],columns = ['0hio','nevada']) right2 = pd.DataFrame(np.arange(7,15).reshape(4,index = ['b','d',columns = ['misso','ala']) left2
right2
pd.merge(left2,right2,left_index = True,right_index = True,how = 'outer')
3)轴向连接 在这里展示一种新的连接方法,对应于numpy的concatenate函数,pandas有concat函数 #numpy arr =np.arange(12).reshape(3,4) arr array([[ 0,1,3],[ 4,7],[ 8,9,10,11]]) np.concatenate([arr,arr],axis = 1)#横轴连接块 array([[ 0,3,7,4,11,8,11]]) concat函数参数表格
s1 = pd.Series([0,2],'c']) s2 = pd.Series([2,4],index = ['c','f','e']) s3 = pd.Series([4,6],'g']) pd.concat([s1,s2,s3])#默认并集、纵向连接 a 0 b 1 c 2 c 2 f 3 e 4 c 4 f 5 g 6 dtype: int64 pd.concat([s1,s3],ignore_index = True)#生成纵轴上的并集,索引会自动生成新的一列 0 0 1 1 2 2 3 2 4 3 5 4 6 4 7 5 8 6 dtype: int64 pd.concat([s1,axis = 1,join = 'inner')#纵向取交集,注意该方法对对象表中有重复索引时失效
pd.concat([s1,join = 'outer')#横向索引取并集,纵向索引取交集,注意该方法对对象表中有重复索引时失效
concat函数小结 1)纵向连接,ignore_index = False,可能生成重复的索引 2)横向连接时,对象索引不能重复 4)合并重叠数据 适用范围: 1)当两个对象的索引有部分或全部重叠时 2)用参数对象中的数据为调用者对象的缺失数据‘打补丁' a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],'e','f']) b = pd.Series(np.arange(len(a)),'f']) a a NaN b 2.5 c NaN d 3.5 e 4.5 f NaN dtype: float64 b a 0 b 1 c 2 d 3 e 4 f 5 dtype: int32 a.combine_first(b)#利用b填补了a的空值 a 0.0 b 2.5 c 2.0 d 3.5 e 4.5 f 5.0 dtype: float64 a = pd.Series([np.nan,index = ['g','f']) a.combine_first(b)#部分索引重叠 a 0.0 b 2.5 c 2.0 d 3.5 e 4.5 f 5.0 g NaN dtype: float64 小结 本篇博客主要讲述了一下内容: 1) merge函数合并数据集 2)concat函数合并数据集 3)combine_first函数,含有重叠索引的缺失值填补 以上这篇python merge、concat合并数据集的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持编程小技巧。 您可能感兴趣的文章:
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |