加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

genfromtxt对文件进行数据处理

发布时间:2020-12-14 02:40:14 所属栏目:大数据 来源:网络整理
导读:刚刚接触这个numpy下的函数,感觉以后可以用来处理数据文本,特此记录。 示例数据:文件名称(test.csv) user_id,item_id,behavior_type,user_geohash,item_category,time 99512554 , 37320317 , 3 , 94 gn6nd, 9232 , 2014 - 11 - 26 20 9909811 , 2669824

刚刚接触这个numpy下的函数,感觉以后可以用来处理数据文本,特此记录。

示例数据:文件名称(test.csv)

user_id,item_id,behavior_type,user_geohash,item_category,time
99512554,37320317,3,94gn6nd,9232,2014-11-26 20
9909811,266982489,1,3475,2014-12-02 23
98692568,27121464,94h63np,5201,2014-11-19 13
96089426,114407102,949g5i3,836,2014-11-26 07
90795949,402391768,94h6dlp,3046,2014-12-09 21

用如下代码将数据完全提取出来:

data = np.genfromtxt(filename,delimiter = ',',skip_header=1,dtype=None)

如果只去特定的列可以用:

data = np.genfromtxt(filename,usecols=(2,5),delimiter = ',skip_header=1,dtype=None)

数据比较多的时候尽量不要用readlines函数,会发生错误的。

MemoryError

*参考:[numpy官方文档]*(http://docs.scipy.org/doc/numpy/reference/generated/numpy.genfromtxt.html)

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读