win10 spark+scala+eclipse+sbt 安装配置
转载请务必注明原创地址为:http://dongkelun.com/2018/03/... 1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格2、安装spark2.1 下载下载地址:http://spark.apache.org/downloads.html,我下载的是 spark-2.2.1-bin-hadoop2.7.tgz 2.2 安装解压到指定路径下即可,比如 D:Companybigdataspark-2.2.1-bin-hadoop2.7 2.3 配置环境变量在系统变量Path添加一条:D:Companybigdataspark-2.2.1-bin-hadoop2.7bin 即可 3、安装hadoop3.1 下载下载地址:https://archive.apache.org/dist/hadoop/common/(需要和spark对应的版本保持一致,我选择的hadoop-2.7.1.tar.gz) 3.2 安装解压到指定路径下即可,比如 D:Companybigdatahadoop-2.7.1 3.3 配置环境变量在系统变量里添加 HADOOP_HOME:D:Companybigdatahadoop-2.7.1 3.4 下载winutils.exe1.下载地址:https://github.com/steveloughran/winutils(找到对应的版本下载)
3.5 解决/temp/hive 不可写错误执行以下语句:D:Companybigdatahadoop-2.7.1binwinutils.exe chmod 777 /tmp/hive 即可,参考:http://mangocool.com/1473838702533.html 3.6 运行验证spark在命令行输入:spark-shell,出现如下图所示即为成功(其中warn信息已在日志配置文件里去掉) 4、安装对应版本的scala(scala-2.11.8.msi)4.1 下载下载地址:https://www.scala-lang.org/download/all.html 4.2 安装一键式安装到指定目录:D:Companybigdatascala 4.3 配置环境变量安装过程中已经自动配好 4.4 验证输入scala -version 查看版本号 ,输入scala 进入scala的环境 5、在eclipse上安装scala插件5.1安装在Eclipse中选择Help->Install new Software 5.1运行scala程序5.1.1 新建scala project5.1.2 将默认的sacala版本改为之前安装的版本
5.1.3 编写salca程序,即可像运行java一样运行scala6、安装sbt6.1 下载(sbt-1.1.1.msi)下载地址:https://www.scala-sbt.org/download.html 6.2 安装一键式安装到指定目录:D:Companybigdatascala-sbt 6.3 配置环境变量SBT_HOME=D:Companybigdatascala-sbt 6.3 配置本地仓库编辑:conf/sbtconfig.txt # Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot.directory=D:/Company/bigdata/scala-sbt/boot/ -Dsbt.global.base=D:/Company/bigdata/scala-sbt/.sbt -Dsbt.ivy.home=D:/Company/bigdata/scala-sbt/.ivy2 -Dsbt.repository.config=D:/Company/bigdata/scala-sbt/conf/repo.properties 增加文件 conf/repo.properties [repositories] local Nexus osc : https://code.lds.org/nexus/content/groups/main-repo Nexus osc thirdparty : https://code.lds.org/nexus/content/groups/plugin-repo/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/,[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext],bootOnly typesafe2: http://repo.typesafe.com/typesafe/releases/ sbt-plugin: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/ sonatype: http://oss.sonatype.org/content/repositories/snapshots uk_maven: http://uk.maven.org/maven2/ ibibli: http://mirrors.ibiblio.org/maven2/ repo2: http://repo2.maven.org/maven2/ 6.4 验证输入:sbt 7、安装eclipse的sbt插件:sbteclipsesbteclipse是eclipse的sbt插件,但与一般eclipse插件的配置及使用并不相同。 (7.1和7.2不确定是否是必须的,一台机器不需要,另一台因在~/.sbt文件下没有1.0和0.13文件夹,执行这两步即可) 7.1 下载项目git clone https://github.com/sbt/sbteclipse.git 或下载zip再解压 7.2 编译进入到sbteclipse目录下,输入 sbt compile 7.3 添加全局配置文件新建:~/.sbt/1.0/plugins/plugins.sbt(网上好多说是:~/.sbt/0.13/plugins/plugins.sbt,但我两个电脑都不行) addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "5.2.4") 7.4 进入到之前创建的项目ScalaDemo目录下添加sbt配置文件build.sbt name := "ScalaDemo" version := "1.0" scalaVersion := "2.11.8" javacOptions ++= Seq("-source","1.8","-target","1.8") libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.2.1" ) 输入 sbt 然后输入eclipse 等待相关的依赖下载完,就可以在eclipse 看到依赖的jar了
7.5 最后将src bulid path 一下,就可以在scala代码里导入spark包了8、 如果想调用本地spark,在SparkConf或者在SparkSession设置matser为local(本地模式)即可(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
- XP上的WPF内存泄漏(CMilChannel,HWND)
- windows-server-2008-r2 – Server 2008 R2不断重
- 为域上的所有Windows服务器设置时区(2008 R2)
- Windows操作系统安装
- 如何使用GUI独立于.NET或其他Libs为Windows制作便
- 如何在不事先知道其本地化名称的情况下使用Windo
- win10 LTSC系统 安装应用商店和纸牌合集,解决从
- windows-server-2008 – 是否可以在保持在线状态
- windows-server-2008 – 如何拒绝Windows中共享/
- .net – Task <>和IAsyncOperation <>