scala – 如何从Download Spark页面的源代码构建Spark？

发布时间：2020-12-16 09:58:40 所属栏目：安全来源：网络整理

导读：我尝试使用Ubuntu 16.04在Ubuntu VM上安装和构建Spark 2.0.0,如下所示：安装Java sudo apt-add-repository ppa:webupd8team/javasudo apt-get update sudo apt-get install oracle-java8-installer 安装Scala 转到他们网站上的“下载”标签：scala-lang.org

我尝试使用Ubuntu 16.04在Ubuntu VM上安装和构建Spark 2.0.0,如下所示：

>安装Java

sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update       
sudo apt-get install oracle-java8-installer

>安装Scala

转到他们网站上的“下载”标签：scala-lang.org/download/all.html

我用过Scala 2.11.8.

sudo mkdir /usr/local/src/scala
sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/

修改.bashrc文件并包含scala的路径：

export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

然后输入：

. .bashrc

>安装git

sudo apt-get install git

>下载并构建火花

转到：http://spark.apache.org/downloads.html

下载Spark 2.0.0(从源代码构建 – 用于独立模式).

tar -xvf spark-2.0.0.tgz
cd into the Spark folder (that has been extracted).

现在输入：

./build/sbt assembly

完成安装后,我收到消息：

[success] Total time: 1940 s,completed…

其次是日期和时间……
>运行Spark shell

bin/spark-shell

那时所有的地狱都崩溃了,我开始得到错误.我进入程序集文件夹查找名为target的文件夹.但那里没有这样的文件夹.汇编中唯一可见的东西是：pom.xml,README和src.

我在网上看了很长一段时间,但我找不到能帮助解决错误的单一具体解决方案.有人可以提供关于如何解决这个问题的明确的逐步说明吗？！？它现在让我疯了……(T.T)

错误的屏幕截图：

enter image description here

解决方法

出于某种原因,Scala 2.11.8在构建时运行不正常,但如果我切换到Scala 2.10.6则会正确构建.我想我首先需要Scala的原因是为了能够建立火花来访问sbt.一旦构建完毕,我需要将自己定位到spark文件夹并输入：

build/sbt package

这将使用Scala 2.11为我构建缺少的JAR文件…有点奇怪,但这是它的工作方式(我假设通过查看日志).

一旦spark再次构建,输入：bin / spark-shell(在spark文件夹中),你就可以访问spark shell了.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!