系统解析Apache Hive
|
Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供一种HQL语言进行查询，具有扩展性好、延展性好、高容错等特点，多应用于离线数仓建设。 1. Hive架构
存储：Hive底层存储依赖于hdfs，因此也支持hdfs所支持的数据存储格式，如text、json、parquet等。当我们将一个文件映射为Hive中一张表时，只需在建表的时告诉Hive，数据中的列名、列分隔符、行分隔符等，Hive就可以自动解析数据。 支持多种压缩格式：bzip2、gzip、lzo、snappy等。通常采用parquet+snappy格式存储。 支持计算引擎：原生支持引擎为MapReduce。但也支持其他计算引擎，如Spark、Tez 元数据存储：derby是Hive内置的元数据存储库，但是derby并发性能差且目前不支持多会话。实际生产中，更多的是采用mysql多为Hive的元数据存储库。 HQL语句执行：解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在hdfs中，并在随后转化为MapReduce任务执行。 ? 2. Hive的几种建表方式 1）create [external] table ... create [external] table [if not exists] table_name [(col_name data_type[comment col_comment],...)] [comment table_comment] [partitioned by (col_name data_type[comment col_comment],...)] [clustered by (col_name,col_name,...) [sorted by (col_name[asc|desc],...)] into num_buckets buckets] [row formatrow_format] [stored as file_format] [location hdfs_path]; create、if not exists等跟传统的关系型数据库含义类似，就不赘述了。 笔者这里主要说一下hive建表时的几个特殊关键字： external：创建外部表时需要指定该关键字，并通过location指定数据存储的路径 partitioned by：创建分区表时，指定分区列。 clustered by和sort by：通常连用，用来创建分桶表，下文会具体阐述。 row format delimited [fields terminated by char] [collection items terminated by char] [map keys terminated by char] [lines terminated by char] serde serde_name [with serdeproperties (property_name=property_value,property_name=property_value,...)]：指定行、字段、集合类型数据分割符、map类型数据key的分隔符等。用户在建表的时候可以使用Hive自带的serde或者自定义serde，Hive通过serde确定表具体列的数据。 stored as file_format：指定表数据存储格式，如TextFile，SequenceFile，RCFile。默认textfile即文本格式，该方式支持通过load方式加载数据。如果数据需要压缩，则采用sequencefile方式，但这种存储方式不能通过load方式加载数据，必须从一个表中查询出数据再写入到一个表中insert overwrite table t1 select * from t1; 2） create table t_x as select ...即ctas语句，复制数据但不复制表结构，创建的为普通表。如果复制的是分区表则新创建的不是分区表但有分区字段。ctas语句是原子性的，如果select失败，将不再执行create操作。 3） create table t_x like t_ylike允许用户复制源表结构，但不复制数据。如，create table t2 like t1; ? 3. Hive的数据类型 Hive内置数据类型主要分为两类：基础数据类型和复杂数据类型。基础数据类型无外乎就是tinyint、smallint、int、bigint、boolean、float、double、string、timestamp、decimal等，笔者这里主要介绍Hive的复杂数据类型，或者称之为集合类型。 Hive的复杂数据类型主要分三种：map、array、struct，并且支持复杂类型嵌套，利用好这些数据类型，将有效提高数据查询效率。目前为止对于关系型数据库不支持这些复杂类型。 1.首先创建一张表 create table t_complex(id int, ?????????? hobby1 map<string,string>, ?????????? hobby2 array<string>, ?????????? address struct<country:string,city:string>) row format delimited fields terminated by ',' collection items terminated by '-' map keys terminated by ':' ; 2.准备数据文件
3.将数据文件load到创建的表中load data local inpath ?'/root/complex.txt' ?into table t_complex; 4.查询map、array、struct类型数据查询map和array跟java中是类似的，都是通过key查找map的value或者根据索引查找array中的元素，而struct则通过列名.标识来访问元素。 查询map示例：select hobby1['唱歌'] from t_complex; 查询array示例：select hobby2[0],hobby2[1] from t_complex; 查询struct示例：select address.country,address.city from t_complex; ? 4. 内部表和外部表
建议在生产中创建Hive表时采用外部表的方式，这样在发生误删表的时，不至于把表数据也删除，利于数据恢复和安全。当然也可以按照下述情况做细分处理：
1）所有数据处理，全部由hive完成，适合用内部表 3）从hive中导出数据，供其他应用使用，适合用外部表 4）普遍用法：初始数据集由外部表操作，数据分析中间表使用内部表 ? 5.order/sort/distribute/cluster by order by：会将所有的数据汇聚到一个reduce上去执行，然后能保证全局有序。但是效率低，因为不能并行执行 sort by：当设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序。 distribute by：根据指定的字段将数据分到不同的reduce，且分发算法是hash散列。能保证每一个reduce负责的数据范围不重叠了，但是不保证排序的问题。 cluster by：除了具有distribute by的功能外，还会对该字段进行排序。 只有一个reduce时，cluster by效果不明显，可以执行set mapred.reduce.tasks>1来使效果明显。 当字段相同时，cluster by效果等同于distribute by+sort by。 注意：cluster 和 sort 在查询(select)时不能共存，建表时可以共存 ? 6. Hive中的分区、分桶以及数据抽样 对Hive表进行分区、分桶，可以提高查询效率，抽样效率 ? 6.1 分区 分区，在hdfs中表现为table目录下的子目录 6.2 分桶 对应建表时bucket关键字，在hdfs中表现为同一个表目录下根据hash散列之后的多个文件，会根据不同的文件把数据放到不同的桶中。如果分桶表导入数据没有生成对应数量的文件，可通过如下方式解决： 1. 开启自动分桶，设置参数：set hive.enforce.bucketing= true 2. 手动设置reduce数量，比如set mapreduce.job.reduces=4。建议对于设计表有分桶需求时，开启自动分桶。因为一旦reduce数量设置错了，规划的分桶数会无效。 注意：要用insert语句或者ctas语句将数据存入分桶表。load语句只是文件的移动或复制。 6.3 抽样（sampling） 6.3.1 按块抽样 1）百分比select * from some_table tablesample(40 percent); 2）按大小select * from some_table tablesample(20M); 3）按照行数取样 select * from some_table tablesample(1000 rows); 6.3.2 按桶抽样 其实就是对分桶表进行抽样，效率高。抽样数据量=总数据量/抽样分桶数。 示例：select count(1) from tableA Tablesample(bucket 2 out of 8 on user_id)；即Tablesample(bucket 开始取样的桶 out of 分成多少个桶)。 如果要进行抽样，建议： 1.如果提前分桶了，表分桶数与抽样分桶数一致，那么只会扫描那个指定桶的数据 2.如果预先分桶和抽样分桶数不一致：重新分桶 3.如果没分桶：先分桶，在抽样 ? 7. Hive的严格模式和非严格模式 通过设置参数hive.mapred.mode来设置是否开启严格模式。目前参数值有两个：strict（严格模式）和nostrict（非严格模式，默认）。通过开启严格模式，主要是为了禁止某些查询（这些查询可能造成意想不到的坏的结果），目前主要禁止3种类型的查询： 1）分区表查询 在查询一个分区表时，必须在where语句后指定分区字段，否则不允许执行。因为在查询分区表时，如果不指定分区查询，会进行全表扫描。而分区表通常有非常大的数据量，全表扫描非常消耗资源。 2）order by 查询 order by语句必须带有limit 语句，否则不允许执行。因为order by会进行全局排序，这个过程会将处理的结果分配到一个reduce中进行处理，处理时间长且影响性能。 3）笛卡尔积查询 数据量非常大时，笛卡尔积查询会出现不可控的情况，因此严格模式下也不允许执行。 在开启严格模式下，进行上述三种不符合要求的查询，通常会报类似FAILED: Error in semantic analysis: In strict mode,XXX is not allowed. If you really want to perform the operation,+set hive.mapred.mode=nonstrict+ ? 8. Hive JOIN 写join查询时，需要注意几个关键点： 1）只支持等值join，因为非等值连接非常难转化为MapReduce任务 示例：select a.* from a join b on a.id = b.id是正确的，然而:select a.* from a join b on a.id>b.id是错误的。 2）可以join多个表，如果join中多个表的join的列是同一个，则join会被转化为单个MapReduce任务示例：select a.*,b.*,c.* from a join b on a.col= b.col1 join c on c.col= b.col1被转化为单个MapReduce任务，因为join中只使用了b.col1作为join列。 但是如下写法会被转化为2个MapReduce任务。因为 b.col1用于第一次join条件，而 b.col2用于第二次 join select a.*,c.*?from a join b on a.col= b.col1?join c on c.col= b.col2; 3）join时，转换为MapReduce任务的逻辑 reduce会缓存join序列中除了最后一个表的所有表的记录（具体看启动了几个map/reduce任务），再通过最后一个表将结果序列化到文件系统。这一实现有助于在reduce端减少内存的使用量。实践中，应该把最大的那个表写在最后（否则会因为缓存浪费大量内存）。 示例： a. 单个map/reduce任务 select a.*,c.* from a join b on a.col= b.col1 join c on c.col= b.col1中所有表都使用同一个join列。reduce端会缓存a表和b表的记录，然后每次取得一个c表的记录就计算一次join结果； b.多个map/reduce任务 select a.*,c.* from a join b on (a.col= b.col1) join c on (c.col= b.col2)。第一次缓存a表，用b表序列化；第二次缓存第一次MapReduce任务的结果，然后用c表序列化。 4）left semi join 经常用来替换 in和exists。 如，select * from a left semi join b on a.id = b.id; 相当于select * from a where a.id exists(select b.id from b);但这种方式在hive中效率极低。 ? 9. Hive中的3种虚拟列 当Hive产生非预期的数据或null时，可以通过虚拟列进行诊断，判断哪行数据出现问题， 主要分3种： 1. INPUT__FILE__NAME 每个map任务输入文件名 2. BLOCK__OFFSET__INSIDE__FILE map任务处理的数据所对应文件的块内偏移量，当前全局文件的偏移量。对于块压缩文件，就是当前块的文件偏移量，即当前块的第一个字节在文件中的偏移量 3. ROW__OFFSET__INSIDE__BLOCK 行偏移量，默认不可用。需要设置hive.exec.rowoffset=true来启用 ? 10. Hive条件判断 Hive中可能会遇到根据判断不同值，产生对应结果的场景，有三种实现方式：if、coalesce、case when。 1. if( condition,true value,false value) 只能用来判断单个条件。 示例：select ?if(col_name='张三',1,0) as xfrom tab; 2. coalesce( value1,value2,… )获取参数列表中的首个非空值，若均为null，则返回null。示例select coalesce(null,null,5,0) as x; 返回5 3.case when 可以与某字段多个比较值的判断，并分别产生不同结果，与其他语言中case语法相似。 select ????case col_name ????????when "张三" then 1 ????????when "李四" then 0 ????????else 2 ????end?as x ????from tab; 或： select ????case ????????when col_name＝"张三" then 1 ????????when col_name＝"李四" then 0 ????????else 2 ????end?as x
????from tab; ? 11. Hive与传统的关系型数据库对比
? 关注微信公众号：大数据学习与分享，获取更对技术干货 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
