Hadoop云服务之战：微软vs.亚马逊

毫无疑问，Apache Hadoop软件库拥有当今最多的大数据分析思想。Gartner在2012年三月的报告中指出Hadoop作为一个流行的搜索词，在网站上的搜索量已经比2011年增加了601.8%。Hadoop逐渐普及的背后主要的驱动力在于大数据和社交计算的炒作，广泛的企业级开源软件应用，拥有Hadoop熟练技能的开发人员资源池以及Hadoop可以用预期达成的性能以低廉的商业服务器集群成本交付高可用性。后面的这个性能让企业能够将Hadoop工作负载部署到IaaS和PaaS提供商的云上，代替数据中心资本投资中的几次付费费用。

Apache软件基金会将Hadoop描述为：

Apache Hadoop项目是用以开发可靠、可扩展且分布式的计算的开源软件。

Apache Hadoop软件库是一种通过使用简单的编程模型，跨计算机集群的大型数据集分布式处理框架。旨在从单一服务器扩展到成千上万的机器，每一个产品本地计算并存储。而不是依赖于硬件来交付高可用性，该软件库本身旨在检测和处理应用层的失败，从而交付计算机集群顶层的高可用性服务，每一个都可能发生故障。

商业开源分布式软件，像红帽Enterprise Linux，属于企业级不可或缺的。Cloudera领先的商业Hadoop分布式用免费增值模式，提供了免费的Cloudera Distribution for Hadoop (CDH)，但是需要对支持和Cloudera Manager应用许可证。因为其商业模式和市场支配，Cloudera成为很多“红帽Hadoop”的使用者的考虑对象。Yahoo!经典的Hadoop开发者，已经改变了野蛮，但是Cloudera却在出售其“Hadoop圣经。”因此Yahoo!于2011年六月甩掉了其Hadoop工程师团队，进入Hortonworks，Benchmark资本投资的一个新的实体，来获取Hadoop的收益，从而与Cloudera竞争。Cloudera2012年三月宣布同IBM合作，将其CDH、Cloudera Manager同本地的IBM BigInsights平台整合，并放入IBM的公有SmartCloud服务中。

亚马逊的弹性MapReduce

亚马逊Web服务(AWS)于2009年4月2日引入了弹性MapReduce服务(EMR)，让AWS成为基于云的Hadoop服务的祖父。EMR使用按需的EC2实例集群处理存储于S3或者DynamoDB中的数据。专业的按需EMR实例陈本范围从小型的每小时0.105美元到每小时0.864美元的大型Hi-CPU实例，包括EMR额外的费用。S3和Dynamo DB存储为标准的按月付费，每GB数据传输到亚马逊数据中或者从亚马逊数据中心输出都适用。你可以按每小时付费或者你实际运行的实例付费。

AWS在EMR开始手册中提供了代码示例和教程，介绍在Linux、UNIX以及Windows语法中，通过EMR Command Line Interface (CLI)创建Streaming Job Flow。或者你可以适用Hive和亚马逊EMR工作流创建和执行一个简单的Contextual Advertising，如图一所示，EMR Management Console，链接中的博客描述了细节。

图一图解自动化弹性MapReduce和Hive工作流。你可以从CLI或者AWS管理控制台运行交互的Hive会话。

这篇文章对比了用AWS Management Console(图二)创建Hive工作流，而不是CLI，因为微软的Apache Hadoop on Windows Azure (AHoWA)服务包括了交互式Hive控制台，性能类似。Apache基金会将Hive描述为：

Hive是一个Hadoop的数据仓库系统，促进简化数据摘要、临时查询和存储在Hadoop兼容文件系统中的大型数据集的分析。Hive提供了数据之上项目结构以及使用类SQL语言HiveQL查询数据的一种机制。同时，HiveQL中不方便或者表达不清这个逻辑时，该语言可以让传统的map/reduce程序员插入其自定义的mappers和reducers。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友