scala – 使用大数据缓慢IO

我有一个包含Ints列表的文件,大约有100万个.我有另一个文件,其中包含有关我(500,000)文档集的数据.我需要计算一个函数,对于第一个文件中的每个Int,它出现的文档数量(第二个中的行数).让我举个例子：

文件1：

-1
1
2
etc...

文件2：

E01JY3-615,CR93E-177,[-1 -> 2,1 -> 1,2 -> 2,3 -> 2,4 -> 2,8 -> 2,... // truncated for brevity] 
E01JY3-615,[1 -> 2,5 -> 2,... // truncated for brevity]
etc...

这是我到目前为止所尝试的

def printToFile(f: java.io.File)(op: java.io.PrintWriter => Unit) {
    val p = new java.io.PrintWriter(new BufferedWriter((new FileWriter(f))))
    try {
      op(p)
    } finally {
      p.close()
    }
  }

  def binarySearch(array: Array[String],word: Int):Boolean = array match {
    case Array() => false
    case xs      => if (array(array.size/2).split("->")(0).trim().toInt == word) {
      return true
    } else if (array(array.size/2).split("->")(0).trim().toInt > word){
      return binarySearch(array.take(array.size/2),word)
    } else {
      return binarySearch(array.drop(array.size/2 + 1),word)
    }
  }

  var v = Source.fromFile("vocabulary.csv").getLines()

  printToFile(new File("idf.csv"))(out => {
    v.foreach(word =>{
      var docCount: Int = 0
      val s = Source.fromFile("documents.csv").getLines()
      s.foreach(line => {
        val split = line.split("[")
        val fpStr = split(1).init
        docCount = if (binarySearch(fpStr.split(","),word.trim().toInt)) docCount + 1 else docCount
      })
      val output = word + "," + math.log10(500448 / (docCount + 1))
      out.println(output)
      println(output)
    })
  })

必须有更快的方法来做到这一点,任何人都可以想到一种方式吗？