[bigdata-028]apache nifi 从mysql导出数据到hbase

0.在hbase节点，启动thrift服务
hbase-daemon.sh start thrift

1. 在本机启动nif
./bin/nifi.sh start

2. 在浏览器输入http://localhost:8080/nifi，看到nifi的界面

3. 拖一个processor ExecuteSQL到界面
??? 3.1 在processor上点击右键，选择configure，点击第三个tab，也就是properties
??? 3.2 在property列表，选择 database connection pooling service-->DBCPConnectionPool，然后再点击右侧的箭头，配置下一个选项，
??? 3.3 于是到了Process Group Configuration页面，点击右侧“+”符号，添加一个mysql数据库的连接。
??????? jdbc:mysql://192.168.20.175:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=true
??????? com.mysql.jdbc.Driver
??????? /home/xxxx/mysql-connector-java-5.1.39.jar
??????? root
??????? 123456
??? 3.4 然后，在回到ExecuteSQL的properties，设置SQL select query为 select * from user
??? 3.5 设置Max Wait Time为10 seconds

4.? 从mysql里出来的是avro格式的数据，需要将它转化成json格式。拖一个ConvertAvroToJson processor到界面。然后，从ExecuteSQL拖一条线到ConvertAvroToJson，关系为success。

5.? 添加一个SplitJson processor到界面，然后从ConvertAvroToJson拖一条线到SplitJson，关系为success。
??? 5.1 配置SplitJson，在properties页，将JsonPathExpression设置为*

6. 添加一个PutHbaseJson processor到界面，然后配置PutHbaseJson
??? 6.1 在properties页，配置HBase Client Service成为 HBase_1_1_2_ClientService
??? 6.2 完成6.1之后，点击右侧的小箭头，增加HbaseClientService，然后点击edit按键，在properites做如下设置：
??????? ZooKeeper Quorum :192.168.2.xxxx
??????? Zookeeper client port: 2181
??????? Zookeeper znode parent: /hbase
??????? Hbase client Reties: 1
??? 6.3 配置完成后，点击小闪电，让配置生效
??? 6.4 配置RowIdentifier。因为传入的是Json，所以使用FieldName为ID，填写ColumnFamlity和TableName，点击Apply。
??????? Table Name: my_user1 #这是hbase的一张表
??????? Row Identifier Field Name: id
??????? Row Identified Encoding Strategy: String
??????? Column Famlily: prop

7. 从SplitJosn连接到PutHbaseJson，关系为Split

8. 增加一个LogAttribute，将其他所有processor的failure以及splitJson的Original关系全部连接到它上面。

9. 将LogAttribute和PutHbaseJson的setting配置页面的Automatically terminate 勾选成success。

10. 在PutHbaseJson出错了。把zookeeper cp过来，看连接

zkCli.sh -server 192.168.0.xxx:2181

ls /

ls /hbase

get /hbase/hmaster

11. 最容易出现的问题，是各节点机的hostname和Hosts文件配置文件。 ??? 12.1 集群四种节点：mysql节点，hbase节点，nifi节点，nifi client节点。 ??? 12.2 如果出现问题，通常都是上述四种节点的/etc/hosts和/etc/hostname出现错误。 ??? 12.3 错误类型：不能根据hostname找到对应的ip，在错误log里有错误的ip地址。所以操作者需要熟悉各hostname和对应ip关系，发现陌生的或者不合理的ip，要及时做修改。