scala – Mllib依赖错误

发布时间：2020-12-16 19:05:58 所属栏目：安全来源：网络整理

导读：我正在尝试使用Mllib构建一个非常简单的 scala独立应用程序,但是当尝试打破程序时会收到以下错误： Object Mllib is not a member of package org.apache.spark 然后,我意识到我必须添加Mllib作为依赖关系如下： version := "1"scalaVersion :="2.10.4"libra

我正在尝试使用Mllib构建一个非常简单的 scala独立应用程序,但是当尝试打破程序时会收到以下错误：

Object Mllib is not a member of package org.apache.spark

然后,我意识到我必须添加Mllib作为依赖关系如下：

version := "1"
scalaVersion :="2.10.4"

libraryDependencies ++= Seq(
"org.apache.spark"  %% "spark-core"              % "1.1.0","org.apache.spark"  %% "spark-mllib"             % "1.1.0"
)

但是,在这里我有一个错误说：

未解决依赖性spark-core_2.10.4; 1.1.1：未找到

所以我不得不修改它

“org.apache.spark”％“spark-core_2.10”％“1.1.1”,

但是还有一个错误说：

未解决依赖性spark-mllib; 1.1.1：未找到

任何人都知道如何在.sbt文件中添加Mllib的依赖关系？

解决方法

@lmm指出,您可以将库包含为：

libraryDependencies = Seq(
??“org.apache.spark”％“spark-core_2.10”％“1.1.0”,
??“org.apache.spark”％“spark-mllib_2.10”％“1.1.0”
??)

在sbt %%中包含scala版本,您正在使用Scala版本2.10.4构建,而Spark工件通常以2.10版本发布.

应该注意的是,如果要组装一个程序集jar来部署应用程序,则可能希望标记spark-core,例如.

libraryDependencies = Seq(
??“org.apache.spark”％“spark-core_2.10”％“1.1.0”％“提供”,
??“org.apache.spark”％“spark-mllib_2.10”％“1.1.0”
??)

因为火花核心包将会在执行器的路径上.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!