java – spark累加器重置

发布时间：2020-12-15 02:16:17 所属栏目：Java 来源：网络整理

导读：有没有办法通过驱动程序重置火花蓄能器,以便执行器累加器也将被清理. 我有一个累加器,实际上是一个List 所有执行程序都将元组添加到累加器中,驱动程序将其读取. 问题是执行程序堆被填满了. 当驱动程序读取所有数据时,执行程序不需要本地数据. 谢谢解决方法

有没有办法通过驱动程序重置火花蓄能器,以便执行器累加器也将被清理.

我有一个累加器,实际上是一个List>
所有执行程序都将元组添加到累加器中,驱动程序将其读取.
问题是执行程序堆被填满了.

当驱动程序读取所有数据时,执行程序不需要本地数据.

谢谢

解决方法

我想知道你是否曾尝试使用累加器的公共方法setValue()来重置驱动程序.

You might be able to use this,i.e. setValue() method,to reset accumulators’ values to smaller objects (e.g. the “zero” object of whatever your accumulator type is,or ‘null’ if you’re sure that the accumulator will never be accessed again).

从https://issues.apache.org/jira/browse/SPARK-3885

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!