使用Scala / Spark提取Teradata表后出现NullPointerException

val df = spark.read.format("jdbc").options(options).load()

但是df.show给了我一个NullPointerException：

java.lang.NullPointerException
at org.apache.spark.sql.catalyst.expressions.codegen.UnsafeRowWriter.write(UnsafeRowWriter.java:210)

我做了一个df.printSchema,我发现这个NPE的原因是数据集包含(nullable = false)列的空值(看起来Teradata给了我错误的信息).实际上,如果我删除有问题的列,我可以实现df.show.

所以,我尝试指定一个新架构,所有列都设置为(nullable = true)：

val new_schema = StructType(df.schema.map {
  case StructField(n,d,nu,m) => StructField(n,true,m)
})

val new_df = spark.read.format("jdbc").schema(new_schema).options(options).load()

但后来我得到了：

org.apache.spark.sql.AnalysisException: JDBC does not allow user-specified schemas.;

我还尝试从前一个创建一个新的Dataframe,指定所需的模式：

val new_df = df.sqlContext.createDataFrame(df.rdd,new_schema)

但是在对数据帧采取行动时我仍然有一个NPE.

关于如何解决这个问题的任何想法？