如何使用Scala Stream类读取大型CSV文件？
发布时间：2020-12-16 09:48:32 所属栏目：安全 来源：网络整理
导读：如何使用Scala流读取大型CSV文件(大于1 Gb)？你有代码示例吗？或者你会使用不同的方式来读取一个大的CSV文件，而不先将其加载到内存中？ 解决方法 只需使用Source.fromFile(…)。getLines就像你已经说的。 这返回一个迭代器，它已经是懒惰的(你会使用流作为
|
如何使用Scala流读取大型CSV文件(大于1 Gb)？你有代码示例吗？或者你会使用不同的方式来读取一个大的CSV文件，而不先将其加载到内存中？
解决方法
只需使用Source.fromFile(…)。getLines就像你已经说的。
这返回一个迭代器，它已经是懒惰的(你会使用流作为一个惰性集合，你想要以前检索的值被记住，所以你可以再次读取) 如果你遇到内存问题，那么问题将在于你在getLines之后做什么。任何像tolist这样的强制严格收集的操作都会导致问题。 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |