高效率地保存多个 Python 对象!你学会了吗?
发布时间:2020-12-17 01:26:26 所属栏目:Python 来源:网络整理
导读:json文件因其简洁精炼,在网上特别流行,我们写爬虫时经常碰到网站使用json格式传输数据。但是如果要存储的数据有1G,那么读取一个json文件需要一次性读入,这需要占用很大的内存,对电脑压力过大。所以我们需要将数据存储为很多个对象,通过逐行读取方式减
json文件因其简洁精炼,在网上特别流行,我们写爬虫时经常碰到网站使用json格式传输数据。但是如果要存储的数据有1G,那么读取一个json文件需要一次性读入,这需要占用很大的内存,对电脑压力过大。所以我们需要将数据存储为很多个对象,通过逐行读取方式减轻内存占用压力。所以今天就讲到jsonlines这个库,希望大家能有所收获。 jsonlines
jsonlines库的特性 便捷的open()功能
安装 pip install jsonlines 使用方法 jsonlines可以保存python的各种数据类型对象,如列表、字典、数字、元组、集合等等。 例如以python字典类型逐行写入到jsonl文件里 加群:960410445? ?一起学习一起交流! import jsonlines with jsonlines.open('data.jsonl',mode='w') as writer: writer.write({'a':5}) writer.write({'a':6}) writer.write({'a':7}) 发现当前工作路径下已经生成了一个jsonl文件。 以逐行的方式读取jsonl文件里的多个字典 with jsonlines.open('data.jsonl',mode='r') as reader: for row in reader: print(type(row),row) 运行
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |