python – Ubuntu通过apt-get安装apache spark

发布时间：2020-12-16 22:32:00 所属栏目：Python 来源：网络整理

导读：我需要安装spark并在一台机器上以独立模式运行它,并寻找通过apt-get安装它的直接方式我通过pip here找到了如何通过pyspark执行此操作我找不到用一个终端命令安装spark的方法. 安装pyspark安装所有的spark软件吗？我找到了instructions如何安装spark,它更

我需要安装spark并在一台机器上以独立模式运行它,并寻找通过apt-get安装它的直接方式

我通过pip here找到了如何通过pyspark执行此操作

我找不到用一个终端命令安装spark的方法.

安装pyspark安装所有的spark软件吗？

我找到了instructions如何安装spark,它更复杂

有没有办法通过apt-get使用类似的一个终端命令安装spark？

编辑

我发现this解释了如何使用apt-get安装spark,我收到以下错误

E: Unable to locate package spark-core E: Unable to locate package
spark-master E: Unable to locate package spark-worker E: Unable to
locate package spark-history-server E: Unable to locate package
spark-python

谢谢

最佳答案

在安装pyspark之前,您必须安装Java8.这描述于

> http://www.webupd8.org/2014/03/how-to-install-oracle-java-8-in-debian.html
> http://www.webupd8.org/2012/09/install-oracle-java-8-in-ubuntu-via-ppa.html

在Ubuntu上进行Java8的全自动安装

$apt-get update
$apt-get -y install software-properties-common
$add-apt-repository -y ppa:webupd8team/java
$echo debconf shared/accepted-oracle-license-v1-1 select true | debconf-set-selections
$echo debconf shared/accepted-oracle-license-v1-1 seen true | debconf-set-selections
$apt-get update
$apt-get -y install oracle-java8-installer

(见https://newfivefour.com/docker-java8-auto-install.html)

之后你可以简单地运行pip install pyspark.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!