基于InfluxDB+Grafana打造大数据监控利器
|
《基于InfluxDB+Grafana打造大数据监控利器》要点： 投稿：新炬网络浙江大数据团队 这是一个大数据爆发的时代.面对信息的激流、多元化数据的涌现,我们在获取、存储、传输、理解、分析、应用、维护大数据时,无疑需要一种便捷的信息交流通道,以便快速、有效、准确地理解和驾驭这个过程.本文将通过时序数据库(InfluxDB)+Grafana的实践,来介绍如何将数据便捷地展现出来. 一、InfluxDB开源的分布式时序、时间和指标数据库,使用Go语言编写,无需外部依赖.其中,时间序列数据库是数据格式里包含Timestamp字段的数据,比如某一时间用户上网流量、通话详单等.但是,有什么数据不包含Timestamp呢?几乎所有的数据都可以打上一个Timestamp字段.时间序列数据更重要的一个属性是如何去查询它,包括数据的过滤、计算等. 它有三大特性：
个人认为InfluxDB的几个优点：
InfluxDB基本概念1、与传统数据库中的名词做比较
2、InfluxDB中特有的概念1)Point Point由时间戳(time)、数据(field)、标签(tags)组成. Point相当于传统数据库里的一行数据,如下表所示：
2)series 所有在数据库中的数据,都需要通过图表来展示,而这个series表示这个表里面的数据,可以在图表上画成几条线：通过tags排列组合算出来. 如下所示：
3、InfluxDB相关APIInfluxDB 支持http api?方式写入数据.使用curl这个工具来模拟HTTP 请求,在实际使用中,可以将请求写入代码中,通过其他编程语言来模拟HTTP请求. 例如：通过HTTP API向Internet_users这张表添加数据 curl -v –XPOST “http:// localhost:8086/write?db=Internet&u=user&p=password” –data-binary “Internet_users,users=小区上网用户,mobile=移动端上网用户,users_num=56, mobile_num=21 1493571600000000000”
说明：
这样,就向Interne数据库的Internet_users表中插入了一条数据. 需要注意,DB参数必须指定一个数据库中已经存在的数据库名,数据体的格式遵从InfluxDB规定格式,首先是表名,后面是tags,然后是field,最后是时间戳.tags、field和时间戳三者之间以空格相分隔. InfluxDB 数据可视化工具二、Grafana
设置查询条件：
展示数据：
Grafana告警功能 没有比”可视化“更好的一个词能来概括运维的本质,我想Grafana也是深知广大运维人员的痛处：如何用可视化数据说话? 所以Grafana在 4.0以后版本：新增报警功能(Alerting),根据官网介绍,Grafana报警方式也有很多种,常见的Email、Slack即时通讯、webhook等. 下图为目前集群Grafana监控界面,主要包含对集群主机CPU、内存配合Grafana的阈值预警功能： 主机内存和CPU使用率监控：
通过规则配置,可配置相关监控规则,包含相关逻辑与时间跨度以及监控告警条件.目前,仅支持一种条件类型—— Query .可以指定Query字母,时间跨度和聚合函数.字母指定你在Metrics tab里设置的聚合函数.Query的结果和聚合函数将会是一个单一的值,用于后面判断是否超过了阈值. 规则配置完成后可在报警列表里统一查看报表状态： 三、实践案例1、数据采集规划目前采集数据主要来源于Hadoop的jmx监控,获取相关Cluster、Queue等Metrics信息以及部分Oracle日志信息,通过相关接口写入InfluxDB数据库,根据来源及日志信息从数据库层进行独立管理设计,以便后续维护. 2、InfluxDB数据库权限配置InfluxDB自带权限控制,权限分别为：
鉴于源数据流,目前只会用到三个角色,对于这三个角色分工如下：
配置数据库权限需开启相关认证,操作如下： vi /etc/InfluxDB/InfluxDB.conf 把 [http] 标签下的 auth-enabled 选项值改为 true [http] enabled = true bind-address = “:8086” auth-enabled = true log-enabled = true write-tracing = false pprof-enabled = false https-enabled = false https-certificate = “/etc/ssl/InfluxDB.pem” 3、Influnxdb和Grafana高可用配置本次实践为了避免因主机通断而导致Influnxdb和Grafana服务无法使用的情况,所以在部署应用时用了2台虚拟机,2台虚拟机安装的服务如下：
在系统层方面又做了如下设置：
将两台主机设置为主备模式,共用同一个域名http://xxx.xxx.com
?
负载均衡设置即VIP主用与容灾端域名+端口与的Localhost-01～02主备节点域名+端口映射.大家都知道InfluxDB和Grafana端口如下图展示：
? 所以映射关系可设计成这样：
其它端口均按此设置,负载均衡设置完成后,这里不得不提Grafana配置,如果要做到可视化展示的高可用,那么Grafana配置数据源就必须采用域名+端口的方式：
至此数据安全设置完毕. 4、Grafana界面配置完成以上环境配置,根据相关需求进行Grafana界面配置以及监控配置,具体操作可以参照官网操作教程,这里不再赘述. HDFS目录配额监控：
HDFS空间使用率监控：
文章来自微信公众号：DBAplus社群 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
