scala – java.lang.ClassNotFoundException：org.apache.spark.

发布时间：2020-12-16 18:27:01 所属栏目：安全来源：网络整理

导读：运行使用Spark Dataset类型的 Scala文件时,我得到以下堆栈跟踪： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclare

运行使用Spark Dataset类型的 Scala文件时,我得到以下堆栈跟踪：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:125)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.Dataset
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 6 more

我发现这很奇怪,因为我有以下导入：

import org.apache.spark.sql._

另外,在我的build.sbt中,我将以下内容添加到libraryDependencies：

"org.apache.spark" %% "spark-core" % "1.6.2" % "provided","org.apache.spark" %% "spark-sql" % "1.6.2" % "provided",

解决方法

如果您正在执行此独立操作,则可以尝试从依赖项中删除.提供意味着您在运行此应用程序时希望依赖项已经在类路径上.因此,如果您使用提供的,则Spark依赖项将不会包含在您的jar中.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!