scala – SparkSQL – 直接读取镶木地板文件
发布时间：2020-12-16 09:26:46 所属栏目：安全 来源：网络整理
导读：我正在从Impala迁移到SparkSQL,使用以下代码读取表： my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') 我如何调用上面的SparkSQL,因此它可以返回如下内容： 'select col_A,col_B from my_table' 解决方法 从镶木地板文件创建Da
|
我正在从Impala迁移到SparkSQL,使用以下代码读取表：
my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table')
我如何调用上面的SparkSQL,因此它可以返回如下内容： 'select col_A,col_B from my_table' 解决方法
从镶木地板文件创建Dataframe后,您必须将其注册为临时表以在其上运行SQL查询.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.parquet("src/main/resources/peopleTwo.parquet")
df.printSchema
// after registering as a table you will be able to run sql queries
df.registerTempTable("people")
sqlContext.sql("select * from people").collect.foreach(println)
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |