第2章执行SparkSQL查询

发布时间：2020-12-16 01:44:23 所属栏目：安全来源：网络整理

导读：第 2 章执行 SparkSQL 查询 2 .1 命令行查询流程打开 Spark shell 例子：查询大于 30 岁的用户创建如下 JSON 文件，注意 JSON 的格式： { "name" : "Michael" } { "name" : "Andy" , "age" :30} { "name" : "Justin" , "age" :19} 2.2 IDEA 创建 S p arkS

第2章执行SparkSQL查询

2.1 命令行查询流程

打开Spark shell

例子：查询大于30岁的用户

创建如下JSON文件，注意JSON的格式：

{"name":"Michael"}
{"name":"Andy","age":30}
{"name":"Justin","age":19}

2.2 IDEA创建SparkSQL程序

IDEA中程序的打包和运行方式都和SparkCore类似，Maven依赖中需要添加新的依赖项：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.1</version>
    <scope>provided</scope>
</dependency>

程序如下：

package com.atguigu.sparksql

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf,SparkContext}
import org.slf4j.LoggerFactory


object HelloWorld {

  def main(args: Array[String]) {
    //创建SparkConf()并设置App名称
    val spark = SparkSession
      .builder()
      .appName("Spark SQL basic example")
      .config("spark.some.config.option","some-value")
      .getOrCreate()

    // For implicit conversions like converting RDDs to DataFrames
    import spark.implicits._

    val df = spark.read.json("examples/src/main/resources/people.json")

    // Displays the content of the DataFrame to stdout
    df.show()

    df.filter($"age" > 21).show()

    df.createOrReplaceTempView("persons")

    spark.sql("SELECT * FROM persons where age > 21").show()

    spark.stop()
  }

}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

第2章 执行SparkSQL查询

第2章 执行SparkSQL查询

2.1 命令行查询流程

2.2 IDEA创建SparkSQL程序

第2章执行SparkSQL查询

第2章执行SparkSQL查询