从存储角度看大数据和云计算区别与联系

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。

　　虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。另外，如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用，在云计算领域目前的老大应该算是amazon，可以说为云计算提供了商业化的标准，另外值得关注的还有vmware(其实从这一点可以帮助你理解云计算和虚拟化的关系)，开源的云平台最有活力的就是openstack了；

　　大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，hadoop的产生使我们能够用普通机器建立稳定的处理tb级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为mapreduce开发复杂)，所以piglatin和hive出现了(分别是yahoo！和facebook发起的项目，说到这补充一下，在大数据领域google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类sql的操作，到这里操作方式像sql了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类sql，而处理速度也能“类sql”，google为我们带来了dremel/powerdrill等技术，cloudera(hadoop商业化最强的公司，hadoop之父cutting就在这里负责技术领导)的impala也出现了。

　　整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用google一篇技术论文中的话，“动一下鼠标就可以在秒级操作pb级别的数据”难道不让人兴奋吗？

　　在谈大数据的时候，首先谈到的就是大数据的4v特性，即类型复杂，海量，快速和价值。ibm原来谈大数据的时候谈3v，没有价值这个v。而实际我们来看4v更加恰当，价值才是大数据问题解决的最终目标，其它3v都是为价值目标服务。在有了4v的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

　　数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

　　数据存储层

　　数据有很多分法，有结构化，半结构化，非结构化；也有元数据，主数据，业务数据；还可以分为gis，视频，文件，语音，业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求，因此在rdbms基础上增加了两种类型，一种是hdfs可以直接应用于非结构化文件存储，一种是nosql类数据库，可以应用于结构化和半结构化数据存储。

　　从存储层的搭建来说，关系型数据库，nosql数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式，但是为了业务的存储和读取方便性，我们可以对存储层进一步的封装，形成一个统一的共享存储服务层，简化这种操作。从用户来讲并不关心底层存储细节，只关心数据的存储和读取的方便性，通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友