加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

scala – SBT上Spark 2.1.0的“未解决依赖”

发布时间:2020-12-16 18:29:08 所属栏目:安全 来源:网络整理
导读:version := “1.0” scalaVersion := “2.11.8” ivyScala := ivyScala.value map { _.copy(overrideScalaVersion = true) } libraryDependencies += “org.apache.spark” %% “spark-core” % “2.1.0” 当我尝试通过sbt组装jar时,我试图让我的开发环境产

version := “1.0”
scalaVersion := “2.11.8”
ivyScala :=
ivyScala.value map { _.copy(overrideScalaVersion = true) }
libraryDependencies += “org.apache.spark” %% “spark-core” % “2.1.0”

当我尝试通过sbt组装jar时,我试图让我的开发环境产生火花,但它失败并在我的sbt中显示[error],如下所示:

[warn]  :::::::::::::::::::::::::::::::::::::::::::::: <br/>
[warn]  ::          UNRESOLVED DEPENDENCIES         :: <br/>
[warn]  :::::::::::::::::::::::::::::::::::::::::::::: <br/>
[warn]  :: org.apache.spark#spark-core_2.11;2.1.0: not found <br/>
[warn]  :::::::::::::::::::::::::::::::::::::::::::::: <br/>
[warn] 
[warn]  Note: Unresolved dependencies path: <br/>
[warn]      org.apache.spark:spark-core_2.11:2.1.0  (D:MyDocumentIDEAScalamodelbuild.sbt#L9-10) <br/>
[warn]        +- org.apache.spark:spark-catalyst_2.11:2.1.0 <br/>
[warn]        +- org.apache.spark:spark-sql_2.11:2.1.0 (D:MyDocumentIDEAScalamodelbuild.sbt#L15-16) <br/>
[warn]        +- org.apache.spark:spark-hive_2.11:2.1.0 (D:MyDocumentIDEAScalamodelbuild.sbt#L11-12) <br/>
[warn]        +- default:producttagmodel_2.11:1.0 <br/>
[trace] Stack trace suppressed: run 'last *:update' for the full output. <br/>
[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.11;2.1.0: not found

我的IntelliJ版本是2016.3.5,sbt版本是0.13.13,scala版本是2.11.8;我发现sbt已经成功下载了spark-core.jar,我在我的.ivy / cache目录中找到它,但它总是显示“未知工件.未重新存档或索引”.我已多次刷新我的项目索引,但它没有用.我在IntelliJ缓存干扰的情况下使用相同的build.sbt创建一个新项目,但它不起作用.我对这个问题感到很困惑.
????这是我的build.sbt设置如下:

enter image description here

解决方法

如何将依赖项更改为:

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0"

除了一个spark应用程序,这通常被添加为“提供”,它不应该包含在jar中,因为当你提交你的工作时,相关的spark库已经安装在驱动程序和执行程序中.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读