python-提高从熊猫列中提取信息的速度

发布时间：2020-12-17 17:40:26 所属栏目：Python 来源：网络整理

导读：我有一个包含约200,000个数据点的数据框和一个看起来像这样的列(1个数据点的示例)： '{"id":342,"name":"Web","slug":"technology/web","position":15,"parent_id":16,"color":6526716,"urls":{"web":{"discover":"http://www.kickstarter.com/discover/cate

我有一个包含约200,000个数据点的数据框和一个看起来像这样的列(1个数据点的示例)：

'{"id":342,"name":"Web","slug":"technology/web","position":15,"parent_id":16,"color":6526716,"urls":{"web":{"discover":"http://www.kickstarter.com/discover/categories/technology/web"}}}'

我想提取有关名称和子弹的信息.我做了以下工作：

df["cat"],df["slug"] = np.nan,np.nan

for i in range(0,len(df.category)):
    df["cat"][i] = df.category.iloc[i].split('"name":"')[1].split('"')[0]
    df["slug"][i] = df.category.iloc[i].split('"name":"')[1].split('"')[4]

效果很好,但是大约需要4个小时.有什么办法可以使速度更快？

最佳答案

与其直接操作DataFrame,不如尝试使用简单的数据类型并一次性创建一个Dataframe.除jezrael之外的另一种解决方案：

import json

cat,slug = [],[]

for row in df.category:
    d = json.loads(row)
    cat.append(d['cat'])
    slug.append(d['slug'])

df = pd.DataFrame({'cat': cat,'slug': slug})

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!