win10部署spark和jupyter

一. JAVA8安装：

1. 安装步骤（略）

2. 验证：

java -version

?

二. Python3.6安装：

1. 安装步骤（略）

2. 验证：

python --version

pip3 --version

?

三. scala安装：

1. 安装步骤：

下载地址：https://www.scala-lang.org/download/

下载scala-2.13.1.msi版本，点击安装

注意：scala的安装目录不能有空格，所以不能安装到默认的 program profile 目录下。

2. 验证：

scala -version

?

四. spark安装：

1. 安装步骤：

下载地址：https://spark.apache.org/downloads.html

2. 配置环境变量：

配置SPARK_HOME

添加path：%SPARK_HOME%/bin;%SPARK_HOME%/sbin;

3. 验证：

pyspark

（会报winutils错误）

?

五. hadoop配置（不配置会报winutils错误）

1.? 配置步骤：

建一个{path}/hadoop/bin目录

下载地址：https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip

将文件内容拷贝到{path}/hadoop/bin中。

2. 配置环境变量：

配置HADOOP_HOME

添加path：%HADOOP_HOME%/bin

3. 验证：

pyspark

（不会报错）

?

六. 安装jupyter：

安装步骤：

pip3 install jupyter

启动：

jupyter notebook