scala – 将函数传递给Spark：引用整个对象的风险是什么？

发布时间：2020-12-16 09:55:09 所属栏目：安全来源：网络整理

导读：根据 Passing Functions to Spark,它声称：访问外部对象的字段将引用整个对象;为了避免这个问题…… 我在考虑流动代码的风险是什么： class MyClass { val field = "Hello" def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x = field + x) }} 引用

根据 Passing Functions to Spark,它声称：

访问外部对象的字段将引用整个对象;为了避免这个问题……

我在考虑流动代码的风险是什么：

class MyClass {
  val field = "Hello"
  def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x => field + x) }
}

引用所有这些都会有害吗？

解决方法

这将导致Spark序列化整个对象并将其发送给每个执行程序.如果对象的某些字段包含大量数据,则可能会很慢.如果您的对象不可序列化,它也可能导致任务无序列化异常

这是一个有这个问题的人的例子：Task not serializable: java.io.NotSerializableException when calling function outside closure only on classes not objects

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!