5，pandas数据处理
发布时间：2020-12-14 04:38:14 所属栏目：大数据 来源：网络整理
导读：1、删除重复元素? 使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True? ? - keep参数：指定保留哪一重复的行数据 创建具有重复元素行的DataFrame import numpy as npimport pandas
1、删除重复元素?使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True? ?- keep参数：指定保留哪一重复的行数据
import numpy as np import pandas as pd from pandas import Series,DataFrame #创建一个df np.random.seed(1) df = DataFrame(data=np.random.randint(0,100,size=(8,4))) df
#手动将df的某几行设置成相同的内容 df.iloc[2] = [66,66,66] df.iloc[4] = [66,66] df.iloc[7] = [66,66] df
df.duplicated(keep=‘last‘)
indexs = df.loc[df.duplicated(keep=‘last‘)].index df.drop(labels=indexs,axis=0)
使用drop_duplicates()函数删除重复的行
df.drop_duplicates(keep=‘last‘)
2. 映射1) replace()函数：替换元素?使用replace()函数，对values进行映射操作? Series替换操作
?
DataFrame替换操作
?
2) map()函数：新建一列 ， map函数并不是df的方法，而是series的方法?
?
map当做一种运算工具，至于执行何种运算，是由map函数的参数决定的（参数：lambda，函数）
注意：并不是任何形式的函数都可以作为map的参数。只有当一个函数具有一个参数且有返回值，那么该函数才可以作为map的参数。 ? 3. 使用聚合操作对数据异常值检测和过滤?使用df.std()函数可以求得DataFrame对象每一列的标准差?
?
4. 排序?使用.take()函数排序- take()函数接受一个索引列表，用数字表示,使得df根据列表中索引的顺序进行排序 - eg:df.take([1,3,4,2,5]) 可以借助np.random.permutation()函数随机排序 ?
random_df = df.take(np.random.permutation(1000),axis=0).take(np.random.permutation(3),axis=1) random_df[0:100]
? 5. 数据分类处理【重点】?数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。 数据分类处理：
数据分类处理的核心： - groupby()函数 - groups属性查看分组情况 - eg: df.groupby(by=‘item‘).groups 分组from pandas import DataFrame,Series df = DataFrame({‘item‘:[‘Apple‘,‘Banana‘,‘Orange‘,‘Apple‘],‘price‘:[4,3,2.5,4,2],‘color‘:[‘red‘,‘yellow‘,‘green‘,‘green‘],‘weight‘:[12,20,50,30,44]}) df
6. 高级数据聚合?使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
