加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

数据仓库工作日记_记录(二)-数据治理上

发布时间:2020-12-14 03:28:12 所属栏目:大数据 来源:网络整理
导读:? 数据治理,也是找我来接这个项目的最初原因。数据治理嘛,说的很清楚了,治理一下数据仓库里面的数据, 。 ? 先来说说ods,在这里吐槽第一次,业务系统给数据文件,不给表结构,不知道数据类型,我们只能自己猜了,经过了无数次报错之后,ods终于可以把数

? 数据治理,也是找我来接这个项目的最初原因。数据治理嘛,说的很清楚了,治理一下数据仓库里面的数据,

? 先来说说ods,在这里吐槽第一次,业务系统给数据文件,不给表结构,不知道数据类型,我们只能自己猜了,经过了无数次报错之后,ods终于可以把数据都加载进来不报错了。在稳定运行了半个月后,ods又报错了,原因是上游系统改表结构了,字段超长,我只能吐槽第二次。

? ods本来就没有处理,也就没有那么多可以报错的地方,现在来说说dw。dw层第一个问题,当时开发的人,尼玛你既然不会设计模型,照抄ods,你就不能抄的好一点?为什么ods有20个字段,你就抽取了18个过来,然后业务需要用,找不到,那两个让你吃了?吐槽第三次。下面来说数据类型,为了避免ods出现的问题,搞dw的人变聪明了,数据长度比ods还大,但是!!!ods都报错了,你dw的长度是varchar两万五也没用啊,吐槽第四次。下一步就要到字段名了,表一里客户号叫cus_no,表二就叫cusno了,这是要闹怎样啊,让不让别人开发了,吐槽第五次,然后直接吐槽第六次,国籍里面插入的是邮政编码,程序注释写的是国籍没找到,而且这种情况还是普遍情况。

? 感觉dw本来就存个历史数据,能搞出这么多问题来,也五体投地了。不过,还好这个圈子比较小,打听了一下,又是那个以不变应万变的原因,当时时间紧,就不到半年的时间,就要求数据仓库及其所有应用一起上线,所以就这样了。

? 好吧,这就是现状了,下一篇,《数据仓库工作日记_记录(二)-数据治理中》,将提出我的解决方案了。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读