HADOOP大数据技术与应用 本书特色

本书采用理论与实践相结合的方式，全面介绍了Hadoop大数据技术。主要内容包括初识Hadoop大数据技术、Hadoop环境配置，分布式文件系统HDFS、资源调度框架YARN、分布式计算框架MapReduce、大数据数据仓库Hive、分布式数据库HBase、查询大型半结构化数据集的语言Pig、分布式日志采集工具Flume、分布式数据库与传统数据库数据相互转换工具Sqoop。

HADOOP大数据技术与应用 内容简介

本书采用理论与实践相结合的方式，全面介绍了Hadoop大数据技术。主要内容包括初识Hadoop大数据技术、Hadoop环境配置，分布式文件系统HDFS、资源调度框架YARN、分布式计算框架MapReduce、大数据数据仓库Hive、分布式数据库HBase、查询大型半结构化数据集的语言Pig、分布式日志采集工具Flume、分布式数据库与传统数据库数据相互转换工具Sqoop。

HADOOP大数据技术与应用 目录

第1章　初识Hadoop大数据技术　1

1.1　大数据技术概述　1

1.1.1　大数据产生的背景　1

1.1.2　大数据的定义　2

1.1.3　大数据技术的发展　2

1.2　Google的“三驾马车”　3

1.2.1　GFS的思想　3

1.2.2　MapReduce的思想　4

1.2.3　BigTable的思想　6

1.3　Hadoop概述　8

1.3.1　Hadoop对Google公司三篇论文思想的实现　8

1.3.2　Hadoop的发展历史　9

1.3.3　Hadoop版本的演变　11

1.3.4　Hadoop的发行版本　12

1.3.5　Hadoop的特点　12

1.4　Hadoop生态圈　12

1.5　Hadoop的典型应用场景与应用架构　13

1.5.1　Hadoop的典型应用场景　13

1.5.2　Hadoop的典型应用架构　14

习题　15

第2章　Hadoop环境设置　16

2.1　安装前准备　16

2.1.1　安装虚拟机　17

2.1.2　安装Ubuntu操作系统　20

2.1.3　关闭防火墙　22

2.1.4　SSH安装　22

2.1.5　安装Xshell及Xftp　22

2.1.6　安装JDK　24

2.1.7　下载Hadoop并解压　25

2.1.8　克隆主机　27

2.2　Hadoop的安装　28

2.2.1　安装单机模式　28

2.2.2　安装伪分布式模式　29

2.2.3　安装完全分布式模式　35

习题　41

实验　搭建Hadoop伪分布式模式环境　42

第3章　HDFS　44

3.1　HDFS简介　44

3.2　HDFS的组成与架构　45

3.2.1　NameNode　45

3.2.2　DataNode　46

3.2.3　SecondaryNameNode　46

3.3　HDFS的工作机制　47

3.3.1　机架感知与副本冗余存储策略　47

3.3.2　文件读取　49

3.3.3　文件写入　50

3.3.4　数据容错　52

3.4　HDFS操作　53

3.4.1　通过Web界面进行HDFS操作　53

3.4.2　通过HDFS Shell进行HDFS操作　54

3.4.3　通过HDFS API进行HDFS操作　60

3.5　HDFS的高级功能　68

3.5.1　安全模式　68

3.5.2　回收站　69

3.5.3　快照　70

3.5.4　配额　71

3.5.5　高可用性　71

3.5.6　联邦　72

习题　74

实验1　通过Shell命令访问HDFS　74

实验2　熟悉基于IDEA Maven的Java开发环境　77

实验3　通过API访问HDFS　86

第4章　YARN　90

4.1　YARN产生的背景　90

4.2　初识YARN　92

4.3　YARN的架构　93

4.3.1　YARN架构概述　93

4.3.2　YARN中应用运行的机制　94

4.3.3　YARN中任务进度的监控　94

4.3.4　MapReduce 1与YARN的组成对比　95

4.4　YARN的调度器　95

4.4.1　先进先出调度器　95

4.4.2　容器调度器　96

4.4.3　公平调度器　97

4.4.4　三种调度器的比较　98

习题　98

第5章　MapReduce　99

5.1　MapReduce概述　99

5.1.1　MapReduce是什么　99

5.1.2　MapReduce的特点　99

5.1.3　MapReduce不擅长的场景　100

5.2　MapReduce编程模型　100

5.2.1　MapReduce编程模型概述　100

5.2.2　MapReduce编程实例　101

5.3　MapReduce编程进阶　112

5.3.1　MapReduce的输入格式　112

5.3.2　MapReduce的输出格式　114

5.3.3　分区　115

5.3.4　合并　118

 1/3    1 2 3 下一页 尾页

教材 研究生/本科/专科教材 工学

在线阅读