数据仓库建模速记

整理数据仓库建模相关知识点

1.缓慢变化维

? a) 添加一个Old列,仅能记录最近两次信息 ? b) 直接覆盖 ? c) 添加BeginDate?EndDate ?Version IsActive? ? d) 在C基础上,添加代理键 2.增量处理 a)全表扫描对比,性能差 ? ? ? ? b)根据源表的操作时间字段.需源系统支持. ? ? ? ? c)分析数据库操作日志,工作量大,难度高 3,性能优化 a)优化SQL b)建立索引,where join的字段都要添加,外键字段尽量采用INT c)物化视图 d)位图连接索引 e)分区 ? f)并行计算 & 分布式 g)提前预处理 --需求变化频率不高情况下 4.代理键,与业务无关的Number类型字段,一般存在于维度表中. 优点: 与事实表关联速度快 业务内容变化,不会对其有影响 处理缓慢变化维 5.数据建模过程: 1.业务模型:确定客户要什么,确定我们有什么 2.领域模型:确定各业务间关系,建立各个实体关系,确定主题等 3.逻辑模型:确定粒度,各主体维度,度量信息,以及数据来源等 4.物理模型:建立数据库模型,生成数据仓库脚本 6.退化维度:没有维度表的维度,存在于事实表中,代表一定的业务含义. 例如:订单编号,销售单号等 优点:方便事实表一些分组操作; 保留业务,方便数据质量检验 7.关于数据质量: 1.源系统 加强约束和校验,上升到全员高度,需最高层大力支持 2.ETL 过程中校验 3.ETL 记录错误异常事实表,方便分析统计 4.ETL 记录行级的审计维度表 5.自动预警