scala – 为什么将spark中的参数提取到局部变量被认为更安全？

发布时间：2020-12-16 09:51:32 所属栏目：安全来源：网络整理

导读：我在本书“学习Spark：Lightning-Fast大数据分析”中看到了这个例子： class SearchFunctions(val query: String) { // more methods here def getMatchesNoReference(rdd: RDD[String]): RDD[String] = { // Safe: extract just the field we need into a l

我在本书“学习Spark：Lightning-Fast大数据分析”中看到了这个例子：

class SearchFunctions(val query: String) {
 // more methods here
 def getMatchesNoReference(rdd: RDD[String]): RDD[String] = {
 // Safe: extract just the field we need into a local variable
 val query_ = this.query
 rdd.map(x => x.split(query_))
 }
}

我的问题是 – 评论说：
安全：将我们需要的字段提取到局部变量中

为什么提取到局部变量比使用字段(定义为val)本身更安全？

解决方法

Passing Functions in Spark非常有用,可以回答你的问题.

我们的想法是,您只希望将查询传达给需要它的工作者,而不是整个对象(类).

如果你没有这样做(如果你在map()中使用了字段而不是局部变量),那么：

…sending the object that contains that class along with the method. In a similar way,accessing fields of the outer object will reference the whole object

请注意,这也更安全,而不仅仅是更高效,因为它最大限度地减少了内存使用量.

你看,当处理真正大的数据时,你的工作将面临其内存限制,如果超过它们,它将被资源管理器(例如YARN)杀死,所以我们要确保使用尽可能少的内存可能,以确保我们的工作将成功,而不是失败！

而且,一个大的对象将导致更大的通信开销.当通信大小太大时,TCP连接可以由对等方重置,这将调用我们想要避免的不必要的开销,因为不良通信也是作业失败的原因.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!