使用Scala剪切大型CSV文件

发布时间：2020-12-16 10:07:18 所属栏目：安全来源：网络整理

导读：在 Scala 2.8中执行文件IO的最佳方法是什么？我想要做的就是将一个巨大的CSV文件剪切成许多较小的文件,每个文件有1000行数据,每个文件保留标题. 解决方法对于像这样的简单任务,我会使用scala.io.Source.一个例子看起来像这样： val input = io.Source.from

在 Scala 2.8中执行文件IO的最佳方法是什么？

我想要做的就是将一个巨大的CSV文件剪切成许多较小的文件,每个文件有1000行数据,每个文件保留标题.

解决方法

对于像这样的简单任务,我会使用scala.io.Source.一个例子看起来像这样：

val input = io.Source.fromFile("input.csv").getLines()

if (input.hasNext) {
  // assuming one header line
  val header = List(input.next())

  for ((i,lines) <- Iterator.from(1) zip input.grouped(linesPerFile)) {
    val out = createWriter(i) // Create a file for index i
    (header.iterator ++ lines.iterator).foreach(out.println)
    out.close
  }
}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!