面向MapReduce的Hadoop优化: Chinese Edition

Posts & Telecom Press · Khaled Tannir

May 2024 · Packt Publishing Ltd

About this ebook

汇聚社区经验精华,阐述配置Hadoop集群运行最优MapReduce作业的方法Key Features

• 原理与实践相结合,通过原理讲解影响MapReduce性能的因素
• 透过实例一步步地教读者如何发现性能瓶颈并消除瓶颈,如何识别系统薄弱环节并改善薄弱环节
• 讲解过程中融合了作者在优化实践过程中积累的丰富经验,具有很强的针对性
• 既覆盖了系统层面的优化又覆盖程序层面的优化

Book Description大数据时代,MapReduce的重要性不言而喻。Hadoop作为MapReduce框架的一个实现,受到业界广泛的认同,并被广泛部署和应用。尽管Hadoop为数据开发工程师入门和编程提供了极大便利,但构造一个真正满足性能要求的MapReduce程序并不简单。数据量巨大是大数据工作的现实问题,而对低响应时间的要求则时常困扰着数据开发工程师。 本书采用原理与实践相结合的方式,通过原理讲解影响MapReduce性能的因素,透过实例一步步地教读者如何发现性能瓶颈并消除瓶颈,如何识别系统薄弱环节并改善薄弱环节,讲解过程中融合了作者在优化实践过程中积累的丰富经验,具有很强的针对性。读完本书,能让读者对Hadoop具有更强的驾驭能力,从而构造出性能最优的MapReduce程序。 Hadoop性能问题既是程序层面的问题,也是系统层面的问题。本书既覆盖了系统层面的优化又覆盖了程序层面的优化,非常适合Hadoop管理员和有经验的数据开发工程师阅读。对于初学者,本书第1章也作了必要的技术铺垫,避免对后面章节的理解产生梯度。What you will learn

• 量化Hadoop集群的节点配置
• 利用Hadoop MapReduce性能计数器判断资源瓶颈
• 正确设置mapper和reducer的数量
• 使用压缩技术和Combiner优化map和reduce任务的吞吐量和代码量
• 理解各种调优属性以及优化集群的最佳实践
• 判断Hadoop集群的薄弱环节
• 了解影响MapReduce性能的因素

Who this book is for

对于Hadoop系统管理员、开发人员、MapReduce使用者或者初学者而言,本书是优化集群和应用程序的最佳选择。读者不必事先具备创建MapReduce应用程序的知识,但具备这些知识有助于增进对概念的理解,更有助于理解MapReduce类模板代码片段。

About the author

Khaled Tannirhas从1980年开始从事计算机相关工作。他是微软认证的开发人员(MCSD),他在领导软件解决方案的开发和实施以及技术演说方面,拥有20多年技术经验。如今,他是一名独立IT咨询师,并在法国、加拿大的许多大公司担任基础设施工程师、高级研发工程师、企业/解决方案架构师等职务。他在Microsoft.NET、Microsoft服务器系统、Oracle Java技术等领域拥有丰富的经验,并且熟练驾驭在线和离线应用系统设计、系统转换以及多语言的互联网/桌面应用程序开发。Khaled Tnnirhas总是热衷于探索和学习新的技术,并基于这些技术在法国、北美、中东等地区寻求商机。他现在拥有一个IT电子实验室,实验室中配备了很多服务器、监控器、开源电子板(如Arduino、Netduino、RaspBerry Pi和.Net Gadgeteer),还有一些装有Windows Phone、Android和iOS操作系统的智能设备。2012年,他协助组织并出席了法国波尔多大学的复杂数据挖掘国际论坛——EGC 2012。他还是《RavenDB 2.x Beginner's Guide》一书的作者。