大数据安全和性能开源解决方案Apache Eagle，毕业成为Apache顶级

《大数据安全和性能开源解决方案Apache Eagle，毕业成为Apache顶级项目》要点：
本文介绍了大数据安全和性能开源解决方案Apache Eagle，毕业成为Apache顶级项目，希望对您有用。如果有疑问，可以联系我们。

翻译｜尚剑

审校｜王纯超

Apache Eagle是一个识别大数据平台上的平安和性能问题的开源解决方案,2017年1月10日,Apache Eagle毕业成为Apache顶级项目.

Eagle首先由eBay在2015年10月开源,它主要用来即时监测敏感数据拜访和恶意活动,并及时采取行动.除了数据活动管理,Eagle也可以用于节点异常检测,集群和作业性能分析.

作业性能分析是通过处理YARN应用日志和对YARN中所有运行的作业进行快照分析来完成的.Eagle可以检测单个作业趋势、数据偏斜问题、故障原因和考虑所有运行的作业情况下评估集群的整体性能.Eagle通过计算每个节点的任务失败率来监测行为异常和需要关注的节点.至于集群性能,Eagle通过计算每个YARN作业占用的资源并把它与横向服务的指标(比如HDFS namenode)来赞助识别整体集群缓慢的原因.

Apache Eagle依赖于Apache Storm来进行数据活动和操作日志的流处理,并且可以执行基于策略的检测和报警.它提供多个API：作为基于Storm API上的一层抽象的流式处理API和policy engine provider API的抽象,它将WSO2的开源Siddhi CEP engine作为第一类对象.Siddhi CEP engine支持报警规则的热部署,并且警报可以使用属性过滤和基于窗口的规则(例如,在10分钟内三次以上的拜访)来定义.

Apache Eagle中还包括一个基于机器学习的policy provider.它从过去的用户行为中学习,来将数据拜访分类为异常或者正常.这个机器学习policy provider评估在Apache Spark框架中离线训练的模型.Eagle用两种机器学习方法来计算用户配置信息：一个方法是密度估计,用来计算每个用户/活动的高斯概率密度和一个阈值,另一个方法是特征值分解,通过减少用户和活动的特征维度来提取其行为模式.

数据集成是使用Apache Kafka通过logstash forwarder 代理或通过log4j kafka appender来实现的.来自多个Hadoop守护进程(例如,namenode,datanode等)的日志条目被反馈到Kafka并由Storm处理.Eagle支持将数据资产分类为多个灵敏度类型.

Eagle支持使用Apache HBase和关系数据库持久化警报.警报可通过电子邮件、Kafka或存储在Eagle支持的存储中进行通知.你也可以开发本身的警报通知插件.

欢迎参与《大数据安全和性能开源解决方案Apache Eagle，毕业成为Apache顶级项目》讨论，分享您的想法，编程之家PHP学院为您提供专业教程。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!