大数据一体机融入数据仓库架构的解决方法

来源： TechTarget中国

2014/2/12 14:58:32

在当今的商业化的IT系统中，我们会收集存储越来越大量的数据。同时要能够获取、分析这些数据，大多数企业开始转向专有硬件、软件解决方案。这也是一体化设备开始流行的一个原因，针对特定应用场景的硬件数据存储与业务分析软件的耦合度越来越高。

使用高级分析工具来对业务数据进行分析是很常见的，特别是对于有很多面向客户系统的大型企业。随着我们可以访问的数据越来越多，企业已经开始将大数据存储到企业数据仓库(EDW)中。然而，这些大数据部署带来一系列的问题，它要求数据库管理员(DBA)和相关支持人员对数据仓库架构进行重新设计。

大数据时代

比如IBM的DB2 Analytics Accelerator(IDAA)，即IBM DB2分析加速器。

这样的解决方案通常十分昂贵。大数据存储需要扩展磁盘和内存阵列，高性能访问则需要大量CPU资源加上复杂的数据访问以允许多个进程并行访问数据集的各个部分。

在实现这样一个解决方案之前，企业需要确认并解决以下问题。

基础设施需求

就拿IDAA来举例，它是一个软硬件解决方案的混合产物。其硬件包括一个大型磁盘存储阵列并结合可进行大规模并行处理的软件。技术支持人员要指定哪些DB2表要在设备中加以复制和存储，及其刷新机制。然后软件会与DB2数据库引擎相连接，使得查询可以访问设备中的表备份，这可以提供更快的访问速度。

除了电力和冷却这些标准问题，在部署这样一个设备之前，IT人员必须考虑多个架构方面的问题。

IDAA只会存储生产系统的数据吗?还是说也可以存储测试数据?换句话说，DBA和业务分析人员要怎样开发并测试他们的数据分析查询。

究竟需要多少设备呢?例如，如果在IDAA上正在执行的数据分析是公司关键任务，那么是不是需要额外的设备进行灾备?

虽然IDAA可以存储大量数据，但只能对访问设备中存储数据的查询进行提速。那么系统中要存储哪些表呢?

责编：王雅京

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友

著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。