数据仓库的现状和发展方向

来源:CIO时代网   
2013/12/18 8:43:30
数据仓库技术在我国的发展很快。很多不同的行业如电信、银行、金融、保险、制造、零售等都建立了自己的数据仓库,其中最具代表性的当属“中国移动”和“中国联通”两家最大的中国电信运营商所构建的“经营分析系统”。

数据仓库从产生到现在,大致经历了以下几个阶段。

1.企业级数据仓库(EDW,1991)

数据仓库最早成型的概念是1991年提出来的。建设数据仓库的非常具体的原则,包括:

·数据仓库是面向主题的。

·数据仓库是集成的。

·数据仓库是包含历史的。

·数据仓库是不可更新的。

·数据仓库是面向决策支持的。

·最明细的数据存储

·数据快照式的数据获取等。

这些原则到现在仍然是指导数据仓库建设的最基本原则,虽然中间的一些原则引发一些争论,并导致一些分歧和数据仓库变体的产生。

2.数据集市

由于企业级数据仓库的设计、实施很困难,使得最早吃数据仓库螃蟹的公司遭到大面积的失败。因此数据仓库的建设者和分析师开始考虑只建设企业级数据仓库的一部分,然后再逐步添加。但是这也带来了一些问题:各个实施部分的数据抽取、清洗、转换和加载是独立的,导致了数据的混乱与不一致性。另外,EDM由于固守OLTP系统的第3范式设计,从而无法支持DSS系统的对性能和数据易访问性的要求。

这时,“数据集市”的概念出现了,它采用Dimensional Modeling,在传统的关系型数据模型和多维OLAP(星形模型)之间建立了很好的桥梁。从此,数据集市在很多地方冒了出来,并获得很大成功,而企业级数据仓库的概念逐渐被人们淡忘。

在初期,数据集市的快速实施和较高的成功率让“数据集市”占了上风,但是很快,他们也发现自己陷入了某种困境:企业中存在着6~7个不同的数据集市,分别有不同的ETL,相互之间的数据也不完全一致。同时,各个数据即使又被当成众多OLTP系统之后的又一个系统,而不是一个基础性的集成性的平台,甚至为了保证系统的性能,有的数据集市删除了历史数据。

所谓“自顶向下”是指从建造某个特定部门的数据集市开始,逐步扩充数据仓库所包含的主题和范围,最后形成一个能够完全反映企业全貌的企业级数据仓库;而“自底向上”则是从一开始就从企业的整体来考虑数据仓库的主题和实施。

现在通常被大家认可的,比较切合实际的做法是将“自顶向下”和“自底向上”两种实施方法结合起来构建数据仓库。

共2页: 上一页1 [2]
责编:王雅京
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918