scala – 火花执行者失去失败

发布时间：2020-12-16 09:11:23 所属栏目：安全来源：网络整理

导读：我正在使用数据库火花集群(AWS),并在我的 scala实验中进行测试. 在使用LogisticRegressionWithLBFGS算法对10 GB数据进行培训时,我有一些问题. 遇到这个问题的代码块如下： import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGSval alg

我正在使用数据库火花集群(AWS),并在我的 scala实验中进行测试.
在使用LogisticRegressionWithLBFGS算法对10 GB数据进行培训时,我有一些问题.
遇到这个问题的代码块如下：

import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGS
val algorithm = new LogisticRegressionWithLBFGS()
algorithm.run(training_set)

首先我有很多执行者失去了失败和java内存不足的问题,然后我用更多的分区重新分配了我的training_set,内存不足的问题已经消失了,但是仍然让执行者失去了失败.

我的集群总共有72个内核和500GB RAM.
有人可以给出一些想法吗？

解决方法

LBFGS使用密集的向量在内部存储betas(特征权重),一切都在内存中.因此,无论训练集中的功能如何稀缺,功能总数都是值得注意的.

所以要解决这个用户应该增加执行器内存或限制训练集中的功能总数.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!