scala – 为什么Spark Streaming应用程序使用sbt run工作正常但

我在 Scala中有一个Spark应用程序,它每隔10秒从Kafka获取记录并将它们保存为文件.这是SBT项目,我使用sbt run命令运行我的应用程序.一切正常,直到我在Tomcat上部署我的应用程序.我设法用 this plugin生成WAR文件,但看起来我的应用程序在Tomcat上部署时没有做任何事情.
这是我的代码：

object SparkConsumer {
  def main (args: Array[String]) {

    val conf = new SparkConf().setMaster("local[*]").setAppName("KafkaReceiver")
    val ssc = new StreamingContext(conf,Seconds(10))


    val kafkaParams = Map[String,Object](
      "bootstrap.servers" -> "localhost:9092","key.deserializer" -> classOf[StringDeserializer],"value.deserializer" -> classOf[StringDeserializer],"group.id" -> "group_id","auto.offset.reset" -> "latest","enable.auto.commit" -> (false: java.lang.Boolean)
    )
    val topics = Array("mytopic")
    val stream = KafkaUtils.createDirectStream[String,String](
      ssc,PreferConsistent,Subscribe[String,String](topics,kafkaParams)
    )

    stream.map(record => (record.key,record.value)).print

    val arr = new ArrayBuffer[String]();

    val lines = stream.map(record => (record.key,record.value));

    stream.foreachRDD { rdd =>

      if (rdd.count() > 0 ) {
            val date = System.currentTimeMillis()
            rdd.saveAsTextFile ("/tmp/sparkout/mytopic/" + date.toString)
            rdd.foreach { record => println("t=" + record.topic + " m=" + record.toString()) }
      }

      println("Stream had " + rdd.count() + " messages")

      val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
        rdd.foreachPartition { iter =>
        val o: OffsetRange = offsetRanges(TaskContext.get.partitionId)
        println(s"${o.topic} ${o.partition} ${o.fromOffset} ${o.untilOffset}")
        println(o)
      }
    }

    stream.saveAsTextFiles("/tmp/output")


    ssc.start()
    ssc.awaitTermination()
  }
}

奇怪的是,当通过sbt run命令运行时,应用程序完全正常.它正确地从Kafka读取记录并将它们作为文件保存在所需目录中.我不知道发生了什么.我尝试使用log4j启用日志记录,但在Tomcat上它甚至没有记录任何内容.我一直在寻找答案,但没有找到解决方案.

总结一下

我的Scala Spark应用程序(这是SBT项目)应该从Kafka读取记录并每隔10秒将它们保存为文件.它通过sbt run命令运行时有效,但在Tomcat上部署时则不行.

附加信息：

> Scala 2.12
> Tomcat 7
> SBT 0.13.15
>要求更多

问：问题是什么？