scala – YARN因超出内存限制而杀死容器

Container killed by YARN for exceeding memory limits. physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.

我有20个m3.2xlarge节点,因此他们有：

cores: 8
memory: 30
storage: 200 gb ebs

我的应用程序的要点是,我有几个10万资产,我有去年每小时生成的历史数据,总数据集大小为2TB未压缩.我需要使用此历史数据为每个资产生成预测.我的设置是我首先使用s3distcp将存储为索引的lzo文件的数据移动到hdfs.然后我将数据拉入并传递给sparkSql来处理json：

val files = sc.newAPIHadoopFile("hdfs:///local/*",classOf[com.hadoop.mapreduce.LzoTextInputFormat],classOf[org.apache.hadoop.io.LongWritable],classOf[org.apache.hadoop.io.Text],conf)
val lzoRDD = files.map(_._2.toString)
val data = sqlContext.read.json(lzoRDD)

然后我使用groupBy按资产对历史数据进行分组,创建一个元组(assetId,timestamp,sparkSqlRow).我认为这种数据结构可以在生成每个资产的预测时更好地进行内存操作.

val p = data.map(asset =>  (asset.getAs[String]("assetId"),asset.getAs[Long]("timestamp"),asset)).groupBy(_._1)

然后我使用foreach迭代每一行,计算预测,最后将预测作为json文件写回到s3.

p.foreach{ asset =>
  (1 to dateTimeRange.toStandardHours.getHours).foreach { hour =>
    // determine the hour from the previous year
    val hourFromPreviousYear = (currentHour + hour.hour) - timeRange
    // convert to seconds
    val timeToCompare = hourFromPreviousYear.getMillis
    val al = asset._2.toList

    println(s"Working on asset ${asset._1} for hour $hour with time-to-compare: $timeToCompare")
    // calculate the year over year average for the asset
    val yoy = calculateYOYforAsset2(al,currentHour,asset._1)
    // get the historical data for the asset from the previous year
    val pa = asset._2.filter(_._2 == timeToCompare)
      .map(row => calculateForecast(yoy,row._3,asset._1,(currentHour + hour.hour).getMillis))
      .foreach(json => writeToS3(json,(currentHour + hour.hour).getMillis))
  }
}

>有没有更好的方法来实现这一点,以便我不会遇到YARN的内存问题？
>有没有办法将资产分块,以便foreach每次仅运行大约10k,而不是所有20万资产？

任何建议/帮助表示赞赏！