如何为Hadoop选择最佳弹性MapReduce框架

亚马逊Web服务的弹性MapReduce是一项基于Hadoop的实施，它可允许你运行大型的预处理工作，如格式转换和数据聚合等。虽然我们可以选择很多的编程语言来对这些任务进行编码，但是时间紧张的开发人员更需要一个能够最大限度减少编码开销的编程框架。Mrjob、 Dumbo 以及 PyDoop 是三个基于Python可满足以上需求的弹性MapReduce框架。

那么，为什么诸如Java或Apache Pig之类的流行编程语言无法胜任这项任务呢？亚马逊的弹性MapReduce（EMR）任务一般都是采用Java语言编写的，但即便是简单的应用程序也可能需要比用Python开发的脚本程序更多的代码行。

Pig 是一种专为载入和转换数据的应用而设计的高级数据处理语言，但是这并不是一种通用的编程语言。如果开发人员一方面比较喜欢使用比Java更高级的编程语言，一方面又需要使用比Pig数据管理更多的功能，那么他们应当尝试使用下Python。

目前，有三种基于Python的EMR框架可供选择： Mrjob、Dumbo 以及 PyDoop。 mrjob开源开发包 Mrjob是一种可在亚马逊EMR上或在你的本地机器上运行任务的开源包。 弹性MapReduce任务是在单个Python类中定义的，而其中包含了与mappers、reducers以及combiners相关的方法。Hadoop的大部分较低层次详细信息都隐藏在mrjob抽象操作下，这是有好处的。

这个简化的模式可允许开发人员把主要精力关注在map-reduce功能的逻辑设计上。 但是，这却意味着你将受制于Hadoop API的一个子集。如果你需要访问更多的Hadoop API，那么Dumbo 或 PyDoop可能是一个更好的选择。 使用mrjob的一个重要优点就是，它不需要安装Hadoop。开发人员可以在一台单一设备上使用Python、mrjob以及其他来编写、测试和调试弹性MapReduce程序。一旦程序准备就绪，你就可以将其移植至EMR，而相同的代码可在Hadoop集群上正常运行且无需任何修改。承载5700万评论、每月1.3亿以上游客浏览的社交网络仍然使用着mrjob，因此它可满足众多Hadoop用户的需求。

使用Dumo进行作业处理 Dumbo是另一个支持EMR的Python框架。 与mrjob类似，你可以编写mapper类和reducer类来实施弹性MapReduce任务。除了在mrjob中的基本功能以外，Dumbo还提供了更多的任务处理选项。它的一个任务类可允许开发人员定义多组由单一命令运行的map-reduce操作。当对一个数据集执行多个操作时，这是非常有用的。Dumbo支持文本和序列文件格式，而通过使用用户指定的Java类，它还支持用户的自定义格式。

在缺点方面，Dumbo的相关文档较少，尤其是与mrjob的技术文档相比。 Dumbo遵循着MapReduce的范式，因此在这个框架下进行核心组件开发与在mrjob和PyDoop中进行开发是类似的。

它还允许你执行partitioners，除了是在本地运行外，它与reducers类似。 它们能够减少map与reduce操作之间数据的传输量。通过使用Dumbo，开发人员还可以在启动任务时以命令行的方式控制Hadoop参数。 Hadoop默认使用纯文本的文件格式，但是用户可以通过指定一个自定义的RecordReader类来处理其他的格式。这个类包括了初始化、下一步、关闭以及getProgress等方法。 它还支持Hadoop文件系统API，它连接了一个HDFS安装和读写文件。

此外，API会检索文件、目录以及文件系统中的元数据。 当你需要以较低层次方式访问文件系统时，Dumbo API可以助你一臂之力，因为它有与HDFS API相同的功能集。 使用PyDoop进行研究包访问 需要访问第三方库和软件包的Python开发人员可能需要考虑使用PyDoop。CRS4跨学科研究中心开发了这个框架并对其进行了维护。 这样做的一个好处就是，你可以对访问流行Python研究包（例如SciPy）进行计数。

尽管mrjob、Dumbo以及PyDoop框架都具有不少的好处，但是它们都会增加运行开销，因此与用Java语言进行开发或者通过Hadoop流相比，你的任务的运行时间有可能会变得更长。如果确保EMR的低成本是一个关键的考虑因素，那么比较分别用Python流和其他框架开发的MapReduce任务就可以得知运行任务所需的额外时间了。

当你开发一些EMR任务时，Hadoop的Python框架是有用的。这三个开发框架都可以在弹性MapReduce上正常运行，并能够帮助用户避免不必要的和繁琐的Java开发工作。 当你需要更多地访问Hadoop内部时，可考虑Dumbo或PyDoop。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友