大数据实训案例:电影推荐系统(SCALA版)/林子雨 本书特色

本书详细介绍了一个大数据应用案例——电影推荐系统（Scala版），案例涉及数据预处理、数据存储与管理、数据分析和数据可视化等流程，涵盖Linux、MySQL、Hadoop、Spark、IntelliJ IDEA、Spring等系统和软件的安装与使用方法。案例采用的编程语言是Scala和Java。

大数据实训案例:电影推荐系统(SCALA版)/林子雨 内容简介

本书详细介绍了一个大数据应用案例——电影推荐系统（Scala版），案例涉及数据预处理、数据存储与管理、数据分析和数据可视化等流程，涵盖Linux、MySQL、Hadoop、Spark、IntelliJ IDEA、Spring等系统和软件的安装与使用方法。案例采用的编程语言是Scala和Java。

大数据实训案例:电影推荐系统(SCALA版)/林子雨 目录

第1章 案例概述 1

1.1　案例目的　1

1.2　适用对象　1

1.3　时间安排　2

1.4　预备知识　2

1.5　硬件要求　2

1.6　软件工具　3

1.7　数据集　3

1.8　案例任务　3

1.9　实验步骤　4

1.10　在线资源　6

1.10.1　在线资源一览表　6

1.10.2　下载专区　7

1.10.3　先修课程　8

1.10.4　大数据课程公共服务平台　8

1.11　本章小结　9

第2章　大数据实验环境搭建　10

2.1　Linux系统及相关软件使用方法　10

2.1.1　Shell　11

2.1.2　root用户　11

2.1.3　创建普通用户　11

2.1.4　sudo命令　12

2.1.5　常用的Linux系统命令　12

2.1.6　文件解压缩　13

2.1.7　常用的目录　13

2.1.8　目录的权限　14

2.1.9　更新APT　14

2.1.10　切换中英文输入法　15

2.1.11　vim编辑器的安装和使用方法　16

2.2　JDK的安装　16

2.3　Scala的安装　17

2.4　Hadoop的安装和基本使用方法　18

2.4.1　安装Hadoop前的准备工作　18

2.4.2　安装Hadoop　20

2.4.3　HDFS操作常用Shell命令　23

2.5　Spark的安装和基本使用方法　25

2.5.1　下载安装文件　25

2.5.2　配置相关文件　26

2.5.3　Spark和Hadoop的交互　26

2.5.4　在spark-shell中运行代码　27

2.6　MySQL数据库的安装和基本

使用方法　29

2.6.1　安装MySQL　29

2.6.2　MySQL常用操作　32

2.7　本章小结　34

第3章　IntelliJ IDEA开发工具的安装和使用方法　35

3.1　下载和安装IDEA　35

3.2　下载Scala插件安装包　35

3.3　启动IDEA　36

3.4　为IDEA安装Scala插件　39

3.5　配置项目的JDK　42

3.6　使用IDEA开发WordCount程序　44

3.6.1　创建一个新项目WordCount　45

3.6.2　为WordCount项目添加Scala框架支持　47

3.6.3　设置项目目录　50

3.6.4　新建Scala代码文件　52

3.6.5　配置pom.xml文件　53

3.6.6　更新Maven的依赖文件　55

3.6.7　运行WordCount程序　56

3.6.8　打包WordCount程序生成

JAR包　57

3.6.9　把JAR包提交到Spark中运行　61

3.7　本章小结　61

第4章　ETL工具Kettle的安装和

使用方法　62

4.1　安装Kettle　62

4.1.1　下载安装包　62

4.1.2　解压文件到安装目录　62

4.1.3　复制MySQL数据库驱动程序

JAR包　63

4.1.4　启动Kettle中的Spoon　63

4.1.5　设置中文界面　65

4.2　使用Kettle把数据加载到HDFS中　65

4.2.1　配置Kettle　66

4.2.2　新建作业　66

4.2.3　添加START组件　67

4.2.4　添加“Hadoop Copy Files”控件　68

4.2.5　设置“Hadoop Copy Files”

控件的属性　68

4.2.6　执行作业并查看运行结果　69

4.2.7　到HDFS中查看数据　70

4.3　本章小结　70

第5章　使用Spark SQL读写

MySQL数据库的方法　71

5.1　Spark SQL概述　71

5.2　创建MySQL数据库　72

5.3　在spark-shell交互式环境中

读写MySQL数据库　72

5.3.1　读取MySQL数据库中的数据　73

5.3.2　向MySQL数据库写入数据　74

5.4　编写独立应用程序读写MySQL

 1/3    1 2 3 下一页 尾页

教材 研究生/本科/专科教材 工学

在线阅读