《开源大数据分析引擎Impala实战》目录

?

当当网图书信息：

http://product.dangdang.com/23648533.html

?

《开源大数据分析引擎Impala实战》目录

第1章? Impala概述、安装与配置................................................................................ 1

1.1?Impala概述........................................................................................................................... 1

1.2?Cloudera Manager安装准备................................................................................................ 2

1.3? CM及CDH安装............................................................................................................... 10

1.4? Hive安装............................................................................................................................ 23

1.5?Impala安装......................................................................................................................... 26

第2章? Impala入门示例............................................................................................. 29

2.1? 数据加载............................................................................................................................. 29

2.2? 数据查询............................................................................................................................. 36

2.3? 分区表................................................................................................................................. 37

2.4? 外部分区表......................................................................................................................... 41

2.5? 笛卡尔连接......................................................................................................................... 44

2.6? 更新元数据......................................................................................................................... 45

第3章? Impala概念及架构......................................................................................... 47

3.1?Impala服务器组件............................................................................................................. 47

3.1.1?Impala Daemon....................................................................................................... 47

3.1.2?Impala Statestore.................................................................................................... 48

3.1.3?Impala Catalog........................................................................................................ 49

3.2?Impala应用编程................................................................................................................. 51

3.2.1?Impala SQL方言................................................................................................... 52

3.2.2?Impala编程接口概述............................................................................................ 52

3.3? 与Hadoop生态系统集成.................................................................................................. 53

3.3.1?与Hive集成.......................................................................................................... 53

3.3.2?与HDFS集成........................................................................................................ 53

3.3.3?使用HBase............................................................................................................ 54

第4章? SQL语句....................................................................................................... 55

4.1? 注释..................................................................................................................................... 55

4.2? 数据类型............................................................................................................................. 56

4.2.1?BIGINT.................................................................................................................. 56

4.2.2?BOOLEAN............................................................................................................ 57

4.2.3?DOUBLE............................................................................................................... 58

4.2.4?FLOAT................................................................................................................... 59

4.2.5?INT......................................................................................................................... 59

4.2.6?REAL..................................................................................................................... 60

4.2.7?SMALLINT............................................................................................................ 60

4.2.8?STRING................................................................................................................. 61

4.2.9?TIMESTAMP......................................................................................................... 62

4.2.10?TINYINT.............................................................................................................. 66

4.3 ?常量..................................................................................................................................... 66

4.3.1?数值常量................................................................................................................ 66

4.3.2?字符串常量............................................................................................................ 67

4.3.3?布尔常量................................................................................................................ 67

4.3.4?时间戳常量............................................................................................................ 68

4.3.5 ?NULL..................................................................................................................... 68

4.4? SQL操作符........................................................................................................................ 70

4.4.1?BETWEEN 操作符............................................................................................... 70

4.4.2?比较操作符............................................................................................................ 71

4.4.3?IN操作符............................................................................................................... 72

4.4.4?IS NULL操作符................................................................................................... 72

4.4.5?LIKE操作符.......................................................................................................... 73

4.4.6?REGEXP操作符................................................................................................... 74

4.5? 模式对象和对象名称......................................................................................................... 75

4.5.1?别名........................................................................................................................ 75

4.5.2?标示符.................................................................................................................... 76

4.5.3?数据库.................................................................................................................... 76

4.5.4?表............................................................................................................................ 77

4.5.5?视图........................................................................................................................ 78

4.5.6?函数........................................................................................................................ 83

4.6? SQL语句............................................................................................................................ 83

4.6.1? ALTER TABLE..................................................................................................... 84

4.6.2? ALTER VIEW....................................................................................................... 90

4.6.3?COMPUTE STATS................................................................................................ 92

4.6.4?CREATE DATABASE.......................................................................................... 95

4.6.5?CREATE FUNCTION........................................................................................... 96

4.6.6?CREATE TABLE.................................................................................................. 98

4.6.7?CREATE VIEW................................................................................................... 103

4.6.8?DESCRIBE.......................................................................................................... 104

4.6.9?DROP DATABASE............................................................................................ 106

4.6.10?DROP FUNCTION........................................................................................... 107

4.6.11?DROP TABLE................................................................................................... 107

4.6.12?DROP VIEW..................................................................................................... 108

4.6.13?EXPLAIN.......................................................................................................... 108

4.6.14?INSERT.............................................................................................................. 110

4.6.15?INVALIDATE METADATA........................................................................... 116

4.6.16?LOAD DATA.................................................................................................... 120

4.6.17?REFRESH.......................................................................................................... 124

4.6.18?SELECT............................................................................................................. 125

4.6.19?SHOW................................................................................................................ 143

4.6.20?USE.................................................................................................................... 147

4.7? 内嵌函数........................................................................................................................... 148

4.7.1?数学函数.............................................................................................................. 150

4.7.2?类型转换函数...................................................................................................... 155

4.7.3?时间和日期函数.................................................................................................. 155

4.7.4?条件函数.............................................................................................................. 160

4.7.5?字符串函数.......................................................................................................... 161

4.7.6?特殊函数.............................................................................................................. 166

4.8? 聚集函数........................................................................................................................... 167

4.8.1? AVG..................................................................................................................... 167

4.8.2?COUNT................................................................................................................ 168

4.8.3?GROUP_CONCAT............................................................................................. 169

4.8.4?MAX..................................................................................................................... 169

4.8.5?MIN...................................................................................................................... 170

4.8.6?NDV..................................................................................................................... 170

4.8.7?SUM..................................................................................................................... 171

4.9? 用户自定义函数UDF...................................................................................................... 171

4.9.1?UDF概念............................................................................................................. 172

4.9.2?安装UDF开发包................................................................................................ 176

4.9.3?编写UDF............................................................................................................. 176

4.9.4?编写UDAF.......................................................................................................... 179

4.9.5?编译和部署UDF................................................................................................. 183

4.9.6?UDF性能............................................................................................................. 184

4.9.7?创建和使用UDF示例........................................................................................ 184

4.9.8?UDF 安全............................................................................................................ 193

4.9.9?Impala UDF的限制............................................................................................. 193

4.10?Impala SQL &Hive QL................................................................................................... 193

4.11? 将SQL移植到Impala上.............................................................................................. 195

第5章? Impala shell................................................................................................. 201

5.1? 命令行选项....................................................................................................................... 201

5.2? 连接到Impalad................................................................................................................. 209

5.3? 运行命令........................................................................................................................... 210

5.4? 命令参考........................................................................................................................... 210

5.5? 查询参数设置................................................................................................................... 211

第6章? Impala管理.................................................................................................. 228

6.1? 准入控制和查询队列....................................................................................................... 228

6.1.1?准入控制概述...................................................................................................... 228

6.1.2?准入控制和YARN............................................................................................. 229

6.1.3?并发查询限制...................................................................................................... 229

6.1.4?准入控制和Impala客户端协同工作................................................................. 230

6.1.5?配置准入控制...................................................................................................... 230

6.1.6?使用准入控制指导原则...................................................................................... 236

6.2? 使用YARN资源管理(CDH5)........................................................................................ 237

6.2.1?Llama进程........................................................................................................... 237

6.2.2?检查计算的资源和实际使用的资源.................................................................. 237

6.2.3?资源限制如何生效.............................................................................................. 238

6.2.4?启用Impala资源管理......................................................................................... 238

6.2.5?资源管理相关impala-shell参数......................................................................... 238

6.2.6?Impala资源管理的限制...................................................................................... 238

6.3? 为进程，查询，会话设定超时限制............................................................................... 239

6.4? 通过代理实现Impala高可用性...................................................................................... 240

6.5? 管理磁盘空间................................................................................................................... 243

第7章? Impala存储.................................................................................................. 245

7.1? 文件格式选择................................................................................................................... 245

7.2? Text.................................................................................................................................... 247

7.2.1?查询性能.............................................................................................................. 247

7.2.2?创建文本表.......................................................................................................... 248

7.2.3?数据文件.............................................................................................................. 249

7.2.4?加载数据.............................................................................................................. 249

7.2.5?LZO压缩............................................................................................................. 250

7.3?Parquet............................................................................................................................... 253

7.3.1?创建Parquet表.................................................................................................... 253

7.3.2?加载数据.............................................................................................................. 254

7.3.3?查询性能.............................................................................................................. 255

7.3.4?Snappy/Gzip压缩................................................................................................ 256

7.3.5?与其他组件交换Parquet数据文件.................................................................... 260

7.3.6? Parquet数据文件组织方式................................................................................. 260

7.4? Avro................................................................................................................................... 263

7.4.1?创建Avro表........................................................................................................ 263

7.4.2?使用Hive创建的Avro表.................................................................................. 265

7.4.3?通过JSON指定Avro模式................................................................................ 265

7.4.4?启用压缩.............................................................................................................. 265

7.4.5?模式进化.............................................................................................................. 266

7.5?RCFile................................................................................................................................ 268

7.5.1?创建RCFile表和加载数据................................................................................. 268

7.5.2?启用压缩.............................................................................................................. 269

7.6?SequenceFile...................................................................................................................... 270

7.6.1?创建和加载数据.................................................................................................. 270

7.6.2?启用压缩.............................................................................................................. 271

7.7?HBase................................................................................................................................ 272

7.7.1?支持的Hbase列类型.......................................................................................... 273

7.7.2?性能问题.............................................................................................................. 273

7.7.3?适用场景.............................................................................................................. 280

7.7.4?数据加载.............................................................................................................. 281

7.7.5?启用压缩.............................................................................................................. 281

7.7.6?限制...................................................................................................................... 282

7.7.7?示例...................................................................................................................... 282

第8章? Impala分区.................................................................................................. 284

8.1? 分区技术适用场合........................................................................................................... 284

8.2? 分区表相关SQL语句..................................................................................................... 285

8.3? 分区修剪........................................................................................................................... 285

8.4? 分区键列........................................................................................................................... 288

8.5? 使用不同的文件格式....................................................................................................... 288

第9章? Impala性能优化........................................................................................... 290

9.1? 最佳实践........................................................................................................................... 290

9.2? 连接查询优化................................................................................................................... 291

9.3? 使用统计信息................................................................................................................... 301

9.4? 基准测试........................................................................................................................... 309

9.5? 控制资源使用................................................................................................................... 309

9.6? 性能测试........................................................................................................................... 310

9.7? 使用EXPLAIN信息....................................................................................................... 311

9.8? 使用PROFILE信息........................................................................................................ 312

第10章? Impala设计原则与应用案例....................................................................... 322

10.1? 设计原则......................................................................................................................... 322

10.2? 应用案例......................................................................................................................... 323