Hadoop技术内幕PDF电子书下载免费版|百度网盘下载

编辑评论：

Hadoop技术内幕：深入解析Hadoop Common和HDFS架构 分布式技术的精髓，从源码实现分布式系统设计的优秀思想和方法，以及对Java语言的编码技巧、编程规范以及设计模式的巧妙运用进行了总结和分析，对提高读者的分布式技术能力和Java编程能力很有帮助

关于作者

蔡斌高级Hadoop技术专家，基于Hadoop的开源项目X-RIME的作者之一。国内Hadoop应用及源码研究领域的开拓者之一。 10余年开发经验，曾就职于朗讯科技、IBM中国研究院等国内外知名企业。研究、应用和实施，实践经验非常丰富。对分布式计算、电信增值服务、网络管理等领域有着深刻的理解和理解，拥有近1（）项发明专利，其中2项为美国专利，大部分与海量数据处理相关。最近一直专注于海量数据的流处理、Hadoop上的大数据应用与挖掘等。 陈向平 北京大学计算机系博士，现就职于中山大学，专注于Hadoop、云计算、软件中间件、模型驱动软件工程等技术的研究与实践。拥有发明专利5项，参与制定电子行业国家标准1项，发表学术论文10余篇。

简介

《Hadoop技术内幕》分两卷，分别从源码角度详细分析了“Common+HDFS”和MapReduce的架构设计和实现原理。 《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台资深Hadoop专家、X-RIME作者撰写，分析Common和HDFS的源码，旨在为Hadoop的优化、定制和扩展提供原则性指导。此外，本书还从源代码实现对分布式技术的精髓、分布式系统设计的优秀思想和方法，以及编码技巧、编程规范和设计模式的微妙应用进行了总结和总结。分析对于提高读者的分布式技术能力和Java编程能力很有帮助。本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

《Hadoop技术内幕：深入剖析Hadoop常用和HDFS架构设计与实现原理》共9章，分为三部分：第一部分（第一章）主要介绍Hadoop源码的获取和源码阅读环境。建造;第二部分（第2-5章）对Hadoop常用工具Common的架构设计和实现原理进行了深入分析，包括Hadoop配置信息处理、海量数据处理的序列化和压缩机制，以及Hadoop远程进程的调用，作为以及满足Hadoop上各种应用访问数据需求的Hadoop抽象文件系统和一些特定的文件系统；第三部分（第6～9章）介绍了Hadoop的分布式文件系统HDFS的架构设计和实现原理。详细分析，这部分内容采用总分的结构。第6章分析了各个实体以及HDFS实体之间的接口；第7章和第8章分别详细研究了数据节点和名称节点的实现。原理，并通过第9章客户端的分析，回顾HDFS节点之间的配合，完整介绍一个大规模数据存储系统的实现。

什么是 Hadoop

Hadoop是Apache基金会旗下的开源分布式计算平台，基于Hadoop分布式文件系统

（Hadoop分布式文件系统，HDFS）和MapReduce分布式计算框架为核心，为用户提供底层细节透明的分布式基础架构。 HDFS 的高容错性和高扩展性等优势，让用户可以在廉价的硬件上部署 Hadoop 构建分布式系统：MapReduce 分布式计算计算框架让用户无需了解分布式系统的底层细节，就可以开发并行和分布式应用程序，充分利用大规模计算资源，解决传统单机无法解决的高大数据处理问题。

Apache Hadoop 目前是分析海量数据的首选工具。

什么是序列化

对象序列化（Serialization）用于将对象编码成字节流，并从字节流中重构对象。 “将对象编码为字节流”称为序列化对象：相反的过程称为反序列化。

序列化主要有三个用途： 作为一种持久化格式：一个对象被序列化后，它的编码可以存储在磁盘上，以供以后反序列化。

作为一种通信数据格式：序列化结果可以通过网络从一台正在运行的虚拟机传递到另一台。

作为一种复制和克隆机制：将对象序列化到内存缓冲区中，然后通过反序列化，可以得到一个新对象，对现有对象进行深拷贝。

在分布式数据处理中，主要用到上面提到的前两个功能：数据持久化和通信数据格式。

在分析Hadoop的序列化机制之前，我们先介绍一下Java内置的序列化机制。