使用csv – SQLite vs join

发布时间：2020-12-12 18:51:49 所属栏目：百科来源：网络整理

导读：我在我们公司有一个旧项目,它使用 shell脚本很多.最流行的命令是：grep,sed,sort.现在还可以.但有一件事让我感到困扰.有时我们有来自其他公司的输入数据,这些数据采用类似csv的格式.这些输入文件由几个ID连接,就像它们只是某些DBMS的转储一样. 不是将数据导

我在我们公司有一个旧项目,它使用 shell脚本很多.最流行的命令是：grep,sed,sort.现在还可以.但有一件事让我感到困扰.有时我们有来自其他公司的输入数据,这些数据采用类似csv的格式.这些输入文件由几个ID连接,就像它们只是某些DBMS的转储一样.

不是将数据导入某些DBMS,而是有一些shell脚本页面可以“切割”,“粘贴”和“连接”组合排序以模拟真实数据库.

最好的解决方案似乎是使用SQLite,但我担心的是它可以处理的数据大小和工作速度.似乎SQLite会使使用shell的这些功能变得更加困难,因为’sed’.

有人可以建议或描述你的成功故事吗？

>大小：根据 docs,SQLite可以处理庞大的数据集,轻松进入Terabytes
>速度：有条件的索引查询和连接在O(logn)或O(nlogn)上,而不是从sed,cut,paste和join获得的O(n)或O(n ^ 2).
> sed：

>如果您使用它来简单地转换字段,那么在Python上执行单行或双行处理就好了.>如果你用它来转换表结构,那么这是一个完全不同的任务,要么通过ALTER TABLE解决,要么可能是一个巨大的处理项目.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!