日志系统重构之多源聚合的采集器
最近对日志系统的采集机制进行了重构,增强了对单一主机上多个日志源采集的便捷性。 重构之前重构之前的设计以日志类型为中心,一个日志类型对应一个独立的flume的配置模板,一个日志类型的一个日志源(具体到某个节点上特定的日志文件)对应一个flume配置文件(也即一个flume agent)。flume配置模板主要针对这个日志类型的 这里管控台的设计完全没有按照flume里 管控台的功能逻辑图: 重构前zk Path设计: 重构前采集器的物理部署图: 重构之后我们的目标是减少同一个物理主机上采集器的部署成本,最好能一个物理主机部署一个采集器,而这个采集器支持多个日志源的采集。正好在当前版本的flume(v1.6.0)是支持 一个agent里多个日志流。因此,在重构的时候,改为以agent为中心,并重新规划了管控台的功能:
重构之后管控台的功能逻辑图: 重构后的zk path设计: 重构后的物理部署图: 总结其实不难看出,管控台的功能逻辑以生成flume配置文件为目标。所以设计的变更主要体现在管控台如何组织和管理这些元数据信息。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |