Python pandas：添加特定列中的元素列表以查找all_elements

发布时间：2020-12-20 12:38:45 所属栏目：Python 来源：网络整理

导读：假设我有一个使用pandas.dataframe的列,如下所示： id available_fruits 1 ['apple','banana'] 1 []2 ['apple','tomato']1 ['banana']2 ['kiwi'] 我想创建没有重复的all_available_fruits列表,它应该是[‘apple’,’banana’,’kiwi’,’tomato’]. 换句话说

假设我有一个使用pandas.dataframe的列,如下所示：

id  available_fruits  
1   ['apple','banana']   
1   []
2   ['apple','tomato']
1   ['banana']
2   ['kiwi']

我想创建没有重复的all_available_fruits列表,它应该是[‘apple’,’banana’,’kiwi’,’tomato’].

换句话说,我想在pandas.dataframe列中添加列表中的所有元素.我怎样才能做到这一点？

解决方法

使用 numpy.concatenate进行flatennig然后使用 numpy.unique：

a = np.unique(np.concatenate(df['available_fruits'].values.tolist())).tolist()
print(a)

['apple','banana','kiwi','tomato']

另一个解决方案是通过chain.from_iterable展平,通过set得到唯一,最后转换为list：

from  itertools import chain
a = list(set(chain.from_iterable(df.available_fruits.values.tolist())))
print(a)
['tomato','apple','banana']

时序：

df = pd.concat([df]*10000).reset_index(drop=True)
#print (df)

In [62]: %timeit list(set(concat(df.available_fruits.values.tolist())))
100 loops,best of 3: 3.16 ms per loop

In [63]: %timeit np.unique(np.concatenate(df['available_fruits'].values.tolist())).tolist()
10 loops,best of 3: 99.2 ms per loop

#John Galt's solution
In [64]: %timeit list(set(df.available_fruits.sum()))
1 loop,best of 3: 4.12 s per loop

#pir's solution 0
In [65]: %timeit list(set(concat(df.available_fruits.values.tolist())))
100 loops,best of 3: 3.16 ms per loop

#pir's solution 1
In [66]: %timeit list({k: 1 for x in df.available_fruits.values.tolist() for k in x})
100 loops,best of 3: 4.59 ms per loop

#pir's solution 2
In [67]: %%timeit
    ...: from sklearn.preprocessing import MultiLabelBinarizer
    ...: 
    ...: mlb = MultiLabelBinarizer()
    ...: mlb.fit(df.available_fruits)
    ...: list(mlb.classes_)
    ...: 
100 loops,best of 3: 4.07 ms per loop

#perigon's solution
In [68]: %timeit list(set([val for lst in df.available_fruits for val in lst]))
100 loops,best of 3: 5.1 ms per loop

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!