scala – 在不同的类中访问Spark广播变量

发布时间：2020-12-16 18:06:10 所属栏目：安全来源：网络整理

导读：我在Spark Streaming应用程序中广播一个值.但我不知道如何在与播放它的类不同的类中访问该变量. 我的代码如下： object AppMain{ def main(args: Array[String]){ //... val broadcastA = sc.broadcast(a) //.. lines.foreachRDD(rdd = { val obj = AppObjec

我在Spark Streaming应用程序中广播一个值.但我不知道如何在与播放它的类不同的类中访问该变量.

我的代码如下：

object AppMain{
  def main(args: Array[String]){
    //...
    val broadcastA = sc.broadcast(a)
    //..
    lines.foreachRDD(rdd => {
    val obj = AppObject1
    rdd.filter(p => obj.apply(p))
    rdd.count
  }
}

object AppObject1: Boolean{
  def apply(str: String){
    AnotherObject.process(str)
  }
}
object AnotherObject{
  // I want to use broadcast variable in this object
  val B = broadcastA.Value // compilation error here
  def process(): Boolean{
   //need to use B inside this method
  }
}

在这种情况下,任何人都可以建议如何访问广播变量？

解决方法

这里没有特别的Spark特定,忽略了可能的序列化问题.如果你想使用某个对象,它必须在当前范围内可用,你可以像往常一样实现：

>您可以在已定义广播的范围内定义助手：

{
    ...
    val x = sc.broadcast(1)
    object Foo {
      def foo = x.value
    }
    ...
}

>您可以将它用作构造函数参数：

case class Foo(x: org.apache.spark.broadcast.Broadcast[Int]) {
  def foo = x.value
}

...

Foo(sc.broadcast(1)).foo

>方法参数

case class Foo() {
  def foo(x: org.apache.spark.broadcast.Broadcast[Int]) = x.value
}

...

Foo().foo(sc.broadcast(1))

>或者甚至混合你的助手：

trait Foo {
  val x: org.apache.spark.broadcast.Broadcast[Int]
  def foo = x.value
}

object Main extends Foo {
  val sc = new SparkContext("local","test",new SparkConf())
  val x = sc.broadcast(1)

  def main(args: Array[String]) {
    sc.parallelize(Seq(None)).map(_ => foo).first
    sc.stop
  }
}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!