scala – 如何从命令行或火花壳显示镶木地板文件的方案(包括类型

发布时间：2020-12-16 09:50:45 所属栏目：安全来源：网络整理

导读：我已经确定了如何使用spark- shell来显示字段名称,但它很难看并且不包括类型 val sqlContext = new org.apache.spark.sql.SQLContext(sc)println(sqlContext.parquetFile(path)) 打印： ParquetTableScan [cust_id#114,blar_field#115,blar_field2#116],(Par

我已经确定了如何使用spark- shell来显示字段名称,但它很难看并且不包括类型

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

println(sqlContext.parquetFile(path))

打印：

ParquetTableScan [cust_id#114,blar_field#115,blar_field2#116],(ParquetRelation /blar/blar),None

解决方法

你应该能够做到这一点：

sqlContext.read.parquet(path).printSchema()

从Spark docs开始：

// Print the schema in a tree format
df.printSchema()
// root
// |-- age: long (nullable = true)
// |-- name: string (nullable = true)

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!