scala – java.lang.NoClassDefFoundError：org / apache / spar

Spark – 已经存在于Cloudera VM中
Scala – 不知道这是否存在于Cloudera,如果不是我们可以安装它
SBT – 这也需要安装.我在本地机器上进行了两次安装,并将Jar转移到VM.为了安装这个,我使用了以下链接

https://gist.github.com/visenger/5496675

1)一旦创建了所有这些.我们必须为我们的项目创建父文件夹.我创建了一个名为Twitter的文件夹.

2)创建另一个文件夹,其结构如下：Twitter / src / main / scala,并在该文件夹中创建名为TwitterPopularTags.scala的.scala文件.这与我们从github获得的代码稍有变化.我不得不更改导入语句

import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.SparkContext._
import org.apache.spark.streaming.twitter._
import org.apache.spark.SparkConf

3)之后,在父文件夹下创建另一个文件夹,名称如下

Twitter的/项目

并创建一个名为assembly.sbt的文件.这有组装插件的路径.以下是文件中的完整代码.

resolvers += Resolver.url("sbt-plugin-releases-scalasbt",url("http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/"))

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

4)创建上述两项后,在名称为build.sbt的项目(Twitter)的父目录中创建一个文件.这是我们需要提供我们需要创建的.Jar文件的名称以及依赖关系的地方.请注意,即使该文件中的代码之间的空白行也很重要.

name := "TwitterPopularTags"

version := "1.0"

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) =>
   {
    case PathList("META-INF",xs @ _*) => MergeStrategy.discard
    case x => MergeStrategy.first
   }
}

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.0" % "provided"

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.1.0" % "provided"

libraryDependencies += "org.apache.spark" %% "spark-streaming-twitter" % "1.2.0" 

libraryDependencies += "org.twitter4j" % "twitter4j-stream" % "3.0.3" 

resolvers += "Akka Repository" at "http://repo.akka.io/releases/"

5)最后,我们必须打开终端并转到项目的父文件夹(Twitter).从这里输入以下命令：

sbt assembly

这将下载依赖项并创建我们需要的jar文件.

6)为了运行程序,我们需要在我们的ID下创建一个twitter应用程序,并提供auth令牌和其他细节.有关如何创建此操作的详细步骤,请参见以下链接.

http://ampcamp.berkeley.edu/3/exercises/realtime-processing-with-spark-streaming.html

7)完成上述所有操作后,我们可以使用VM的spark-submit命令来运行作业.示例命令是

./bin/spark-submit 
  --class TwitterPopularTags 
  --master local[4] 
  /path/to/TwitterPopilarTags.jar 
  comsumerkey consumersecret accesstoken accesssecret

8)这将输出输出到控制台,以便监视输出,最好是降低频率
通过调整代码.

如果需要更多的细节,请通知我.

谢谢&问候,

VPV