加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

使用错误的Scala版本创建Spark应用程序

发布时间:2020-12-16 18:25:40 所属栏目:安全 来源:网络整理
导读:我按照这里的说明操作: https://spark.apache.org/docs/latest/quick-start.html创建一个将在本地独立Spark构建上运行的简单应用程序. 在我的系统中,我有Scala 2.9.2和sbt 0.13.7. 当我在simple.sbt中写下以下内容时: scalaVersion:=“2.9.2” 在我使用sb
我按照这里的说明操作: https://spark.apache.org/docs/latest/quick-start.html创建一个将在本地独立Spark构建上运行的简单应用程序.

在我的系统中,我有Scala 2.9.2和sbt 0.13.7.
当我在simple.sbt中写下以下内容时:

scalaVersion:=“2.9.2”

在我使用sbt包之后,我收到错误:
sbt.ResolveException:未解析的依赖项:org.apache.spark#spark-core_2.9.2; 1.3.1:未找到

但是,当我在simple.sbt中写道时:

scalaVersion:=“2.10.4”

sbt成功运行,应用程序在Spark上运行正常.

怎么会发生这种情况,因为我的系统上没有scala 2.10.4?

解决方法

Scala不是一个包,它是一个在Java运行时之上执行的库.同样,Scala编译器scalac在Java运行时之上运行.您在“系统”中安装了Scala版本的事实是一种便利,但不是必需的.

因此,完全有可能从一个版本的Scala(2.9.2)启动sbt,但通过传递适当的标志,如-classpath,指示它使用完全不同版本的Scala(2.10.x)运行其他命令(编译) .

见:Can java run a compiled scala code?

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读