scala – 确保应用程序中只有一个Spark上下文的良好实践

发布时间：2020-12-16 19:23:07 所属栏目：安全来源：网络整理

导读：我正在寻找一种好方法来确保我的应用程序只使用一个单独的Spark Context(sc).在开发过程中,我经常遇到错误,不得不重启我的游戏！服务器重新测试我的修改. Singleton模式会成为解决方案吗？ object sparckContextSingleton { @transient private var instance

我正在寻找一种好方法来确保我的应用程序只使用一个单独的Spark Context(sc).在开发过程中,我经常遇到错误,不得不重启我的游戏！服务器重新测试我的修改.
Singleton模式会成为解决方案吗？

object sparckContextSingleton {
  @transient private var instance: SparkContext = _
  private val conf : SparkConf = new SparkConf()
    .setMaster("local[2]")
    .setAppName("myApp")

  def getInstance(): SparkContext = {
    if (instance == null){
      instance = new SparkContext(conf)
    }
    instance
  }  
}

这不是一件好事.我应该停止SparkContext吗？

解决方法

这应该足以做到这一点,重要的是使用val而不是var.

object SparkContextKeeper {
  val conf = new SparkConf().setAppName("SparkApp")
  val context= new SparkContext(conf)
  val sqlContext = new SQLContext(context)
}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!