在Scala Spark中没有找到reduceByKey方法
发布时间：2020-12-16 09:37:23 所属栏目：安全 来源：网络整理
导读：试图从源码运行 http://spark.apache.org/docs/latest/quick-start.html#a-standalone-app-in-scala。 这行代码wordCounts = textFile.flatMap(line = line.split(“”))map(word =(word，1))reduceByKey((a，b)= a b) value reduceByKey is not a member of
|
试图从源码运行
http://spark.apache.org/docs/latest/quick-start.html#a-standalone-app-in-scala。
这行代码wordCounts = textFile.flatMap(line => line.split(“”))map(word =>(word，1))reduceByKey((a，b)=> a b) value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String,Int)]
val wordCounts = logData.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a + b)
logData.flatMap(line => line.split(“”))。map(word =>(word，1))返回一个MappedRDD，但是我在http://spark.apache.org/docs/0.9.1/api/core/index.html#org.apache.spark.rdd.RDD中找不到这个类型 我从Spark源运行这个代码，可能是一个类路径问题？但是所需的依赖关系在我的类路径上。 解决方法
您应该从SparkContext导入隐式转换：
import org.apache.spark.SparkContext._ 他们使用’pimp up我的库’模式向特定类型的RDD添加方法。好奇，见SparkContext:1296 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |