BI过程简述
发布时间:2020-12-14 03:53:00 所属栏目:大数据 来源:网络整理
导读:BI流程: 需求分析-维度设计-查询service-ETL倒数据-CDC监听数据库 ? 需求分析:首先确定好的数据来源(多个数据库+excel文件+日志+...),需要的数据查询项(measure值) 维度设计: ???分析维度出发点,几个w:who,where,when,what,how,why ?? 建维度表 ??
BI流程: 需求分析->维度设计->查询service->ETL倒数据->CDC监听数据库 ? 需求分析:首先确定好的数据来源(多个数据库+excel文件+日志+...),需要的数据查询项(measure值) 维度设计: ???分析维度出发点,几个w:who,where,when,what,how,why ?? 建维度表 ?? 通过画总线矩阵来减少事实表个数 查询service:最后确定了前端使用开源框架saiku(使用了pentaho的mondrian来提供MDX到result的处理) ETL工具:kettle(图形化界面,数据处理思想类似于awk工具) CDC监听:使用tungsten(实现了mysql的log监听,但对oracle的redolog的监听实现并不完美)。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |