大数据“流言”：Hadoop和云分析误解

来源：王迪

2013/5/9 15:40:12

对于Hadoop技术而言，可以说是开源领域的传奇，然而如今业界还伴随着一些流言，这些流言可能会导致IT高管们带着“有色”的观点去制定策略。

本文关键字：大数据 Hadoop

对于Hadoop技术而言，可以说是开源领域的传奇，然而如今业界还伴随着一些流言，这些流言可能会导致IT高管们带着“有色”的观点去制定策略。如今，数据量在以惊人的速度增长，从IDC分析师报告中2013年数据存储上的增长速度将达到53.4%，AT&T更是声称无线数据的流量在过去的5年内增长200倍，从互联网内容、电子邮件、应用通知、社交消息以及每天接收的消息都在显著的增长，这也是众多大企业都聚焦大数据的原因所在。

大数据“流言”：Hadoop和云分析七误解

毫无疑问，Hadoop成为解决大数据需求的主要投资领域之一，而类似Facebook等互联网巨头在都公开的吹捧Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼于Hadoop。但对于Hadoop技术而言，是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就了解一些关于Hadoop和大数据的七大错误理念：

1.大数据仅仅是容量 对大数据来说，除了指体积之外，还经常提到Variety(多样)、Variability(可变)、Velocity(速度)和 Value(价值)。关键点在于大数据并不是体积上的增长，更多是未来的实时分析、结构化和非结构化数据的发展，并被企业CIO用于更好的决策。综上所述，并不是只有分析大数据才会获得价值。举个例子，存储和分析1PB的超时限数据的价值可能比不上实时分析1GB的数据，而从“新鲜”的数据上获得价值比解剖过时的数据更具价值。

2.传统SQL不能在Hadoop上使用 众多厂商在Hadoop上投入精力，布局市场战略时，十分清楚HDFS和MapReduce受限于处理类似SQL语言的能力，这也是Hive、 Pig和Sqoop最终得以推广的原因。更多企业通过Hadoop和SQL兼容来管理大量的数据，Pivotal HD是结合SQL并行处理资料库与Hadoop 2.0，针对企业资料分析需求而优化的Hadoop强化版本。

3.Hadoop是唯一的新IT数据平台 谈到数据平台，大型机在IT投资组合里有是一个长期投资，与ERP、CRM和SCM这些系统一样演变至今。而面对大数据时代，大型机不想被架构遗弃，必须展示在现有IT投资环境中的价值，而许多客户遇到速度、规模和成本的问题，通过vFabric SQLFire这样的内存大数据网络去解决高速数据存取，促进大型机批处理或实时分析报告这些问题。

4.虚拟化会导致性能下降Hadoop最初的设计只是运行实体服务器上，然而随着云计算发展，许多企业都希望能作为云数据中心提供服务。之所以虚拟化Hadoop，企业首先要考虑管理基础设施的扩展性，认识到扩展计算资源，比如虚拟Hadoop节点在数据和计算分开时会对性能有所帮助，否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。

5.Hadoop只可以在数据中心运行对于在SaaS云服务解决方案，许多云服务允许云端运行Hadoop、SQL，这无疑可以帮助企业省下数据中心建造投资的时间和金钱。特别是对于公有云情况下，Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub用例中获益。

大数据复杂性

大数据复杂性6.Hadoop对虚拟化无经济价值Hadoop被很多人认为，尽管在商用服务器上运行，添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益，但其实这个说法并没有考虑到数据和数据分析事实上都是动态的。虚拟化基础设施同样可以减少物理硬件数量，让CAPEX(资本支出)直接等于商用硬件成本，而通过自动以及高效利用共享基础设施同样可以减少OPEX(运营成本)。7.Hadoop不能运行在SAN或NAS上尽管Hadoop在本地磁盘上运行，对于中小型集群一样可以在一个共享的SAN环境下体现良好的性能表现，而高带宽比如10GB以太网、PoE以及iSCSI对性能同样有很好的支持。由此，大数据成为行业追逐的热点，以上七大有关大数据“误解”问题的客观看待。如同不同项目需求不同，Hadoop是一个工具来帮助企业更好的应对大数据问题。无论是面对数据网格的GemFire 或SQLFire，还是面向消息的RabbitMQ中间件，一个完整的SaaS解决方案如今比在Hadoop环境更容易实现。

责编：李红燕

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友

收藏到畅享打印全文复制链接添加到收藏投稿邮箱

分享到：新浪微博腾讯微博

著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。

大数据“流言”：Hadoop和云分析误解

通过咨询项目或年度顾问方式，帮助您架起业务和IT的桥梁，解决业务和IT创新融合、现有系统取舍难、IT架构、建设路径、IT治理、IT支出优化等IT策略问题。

与您签订总包或三方合同，帮您解决业务和IT规划落地走样、IT详细设计缺失、难以寻觅靠谱的技术供应商、多个供应商协调难、维护升级服务保障难等棘手问题。

与您签订监理合同，以里程碑专家评审、项目变更协调、风险控制研讨、供应商关系协调、CIO智力网络等为主要服务内容，与甲乙方一起实现上线成功。

畅享IT帮助寻找可靠的、性价比高的开发力量，签订外包合同或三方合同，为企业提供可信赖的开发量，为IT供应商解决开发力量不足的问题。

畅享IT帮助寻找靠谱的、性价比高的维护力量，签订外包合同，对客户满意度负责，为客户解决维护运营服务保障难的问题。

对IT系统、IT项目或IT管理进行评估，出具中立评估报告，解决IT评价难、取舍难的问题。