python – PySpark可以使用numpy数组吗？

发布时间：2020-12-20 13:08:45 所属栏目：Python 来源：网络整理

导读：我试图在pyspark会话中执行以下命令： a = [1,2,3,4,5,6,7,8,9,10] da = sc.parallelize(a) da.reduce(lambda a,b: a + b) 它工作正常.我得到了预期的答案(55).现在我尝试使用numpy数组而不是Python列表： import numpy a = numpy.array([1,10]) da = sc.par

我试图在pyspark会话中执行以下命令：

>>> a = [1,2,3,4,5,6,7,8,9,10]
>>> da = sc.parallelize(a)
>>> da.reduce(lambda a,b: a + b)

它工作正常.我得到了预期的答案(55).现在我尝试使用numpy数组而不是Python列表：

>>> import numpy
>>> a = numpy.array([1,10])
>>> da = sc.parallelize(a)
>>> da.reduce(lambda a,b: a + b)

结果我得到了很多错误.更具体地说,我在错误消息中多次看到以下错误：

ImportError: No module named numpy.core.multiarray

是不是安装了不是我的集群或pyspark无法在基础级别上使用numpy数组？

解决方法

我有类似的问题.我在下面做了并解决了问题：

pip uninstall numpy
pip install numpy
pip install nose

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!