Linux操作系统管理与Hadoop生态圈部署――基于CentOS7.6 pdf下载

本书基于较新的Linux发行版――CentOS 7.6，内容涵盖Linux基础操作、Linux常见服务器架设及Hadoop生态圈中基于Linux的Hadoop、Spark、Flink、Hbase、Hive等平台的搭建。CentOS是RHEL的社区版，可以无缝衔接应用广泛的RHEL，其基础知识也可以用于其他很多Linux发行版。目前，Hadoop生态圈在企业里深受欢迎，实用性很强，在大数据相关领域应用广泛。本书依托岗位技能，将工作任务融入非常有代表性的实例中，理论内容丰富，操作步骤清晰，力求理论与实践相结合，并且充分考虑学生认知规律和特点，重点突出，难点拆解到位。由于深入浅出的内容组织，本书特别适合计算机网络、大数据运维等相关专业的学生选用，也可以作为Linux爱好者由入门到进阶的自学图书。

刘猛，江苏邳州人，1981年出生，2002年毕业于西安工业学院计算机科学与工程系，2012年取得计算机高级讲师资格，2013年取得广东技术师范学院系统理论专业理学硕士。持有RHCE、CISP、MITP等多项资格证书；2017年被评为东莞市优秀教师；辅导学生参加国家、省市技能大赛取得多项优秀成绩；项目实施和教育培训经验丰富。

目 录

第1章 Linux概述 1
1．1 初识Linux 2
1．1．1 Linux的前世今生 2
1．1．2 开源软件简介 3
1．1．3 Linux的特点 4
1．1．4 Linux的应用 4
1．2 内核与发行版 6
1．2．1 内核的概念和功能 6
1．2．2 内核版本 6
1．2．3 常见的发行版本 7
1．2．4 Red Hat、Fedora Core与CentOS 9
第2章 CentOS 7．6的安装与Linux初体验 11
2．1 CentOS 7．6的安装 12
2．1．1 安装介质的获取及安装方式简介 12
2．1．2 安装方式 12
2．1．3 CentOS 7．6的安装与配置 13
2．2 Linux初体验 21
2．2．1 图形界面与登录 22
2．2．2 字符界面与登录 23
2．2．3 字符界面与图形界面的切换 24
2．2．4 新用户添加 25
2．2．5 Linux注销、重启、关机 26
第3章 命令行与Shell基础 29
3．1 Shell基础 30
3．1．1 什么是Shell 30
3．1．2 Linux Shell简介 30
3．1．3 通配符与命令扩展 32
3．1．4 定制别名 32
3．1．5 转义字符与系统环境变量 34
3．1．6 登录类型与用户环境配置 35
3．2 Linux命令基础 36
3．2．1 命令的格式 36
3．2．2 命令的输入与执行 38
3．2．3 联机帮助 38
3．3 输入、输出重定向和管道 39
3．3．1 命令的输入与输出 39
3．3．2 输入重定向 39
3．3．3 输出重定向 40
3．3．4 管道 40
3．4 Linux常用命令 41
3．5 vi文本编辑器 49
3．5．1 vi简介 49
3．5．2 vi的工作模式和切换 49
3．5．3 启动vi 50
3．5．4 vi常用命令 50
第4章 用户和用户组的管理 52
4．1 Linux账号概述 53
4．1．1 Linux用户类型 53
4．1．2 用户账号配置文件 53
4．1．3 用户组账号配置文件 55
4．2 用户管理 55
4．2．1 添加用户 56
4．2．2 管理用户密码 56
4．2．3 修改用户属性 57
4．2．4 删除用户 57
4．2．5 /etc/skel/目录 57
4．3 用户组管理 59
4．3．1 添加用户组 59
4．3．2 修改用户组属性 59
4．3．3 删除用户组 60
4．3．4 管理用户组内的用户 60
4．4 用户权限与账号登录监控 61
4．4．1 用户权限 61
4．4．2 账号登录监控 62
第5章 文件与文件管理 64
5．1 Linux文件与路径 65
5．1．1 文件名与文件类型 65
5．1．2 路径 68
5．1．3 CentOS 7．6目录简介 69
5．2 文件与目录操作命令 70
5．2．1 创建文件与目录 71
5．2．2 查看文件内容 71
5．2．3 复制和移动文件或目录 73
5．2．4 删除文件与目录 73
5．2．5 创建硬链接和软链接 74
5．2．6 查找文件 74
5．2．7 打包和解包文件 75
5．3 Linux文件权限管理 76
5．3．1 权限概述 77
5．3．2 权限的修改 78
5．3．3 更改文件或目录所属用户和用户组 79
5．3．4 默认权限umask 79
第6章 磁盘与分区管理 81
6．1 磁盘和分区简介 82
6．1．1 磁盘的结构和工作原理 82
6．1．2 Linux磁盘分区 82
6．1．3 Linux常见设备命名 83
6．1．4 Linux分区命名 84
6．2 Linux文件系统概述 84
6．2．1 Linux支持的文件系统类型 85
6．2．2 XFS的优点 86
6．3 使用fdisk分区 87
6．3．1 查看硬盘及分区信息 87
6．3．2 使用fdisk编辑分区表 88
6．4 文件系统管理 92
6．4．1 创建文件系统 92
6．4．2 挂载与卸载 93
6．4．3 设置自动挂载 96
6．5 磁盘配额 97
第7章 Linux软件包管理 100
7．1 RPM软件包管理 101
7．1．1 RPM简介 101
7．1．2 rpm命令与操作 101
7．2 YUM软件包管理 103
7．2．1 YUM配置文件 104
7．2．2 配置本地YUM源 105
7．2．3 yum命令详解 106
第8章 Systemd概述与进程管理 110
8．1 Systemd概述 111
8．1．1 CentOS 6和CentOS 7启动流程的区别 111
8．1．2 Systemd简介 112
8．1．3 Systemd的使用和配置 113
8．1．4 Systemd与SysVinit 116
8．1．5 systemctl命令简介 117
8．2 认识进程 119
8．2．1 进程简介 119
8．2．2 进程管理 120
8．2．3 作业管理 124
8．2．4 任务调度 127
第9章 磁盘高级管理 131
9．1 逻辑卷管理 132
9．1．1 LVM简介 132
9．1．2 LVM的建立 133
9．1．3 LVM的管理 139
9．2 RAID管理 142
9．2．1 RAID简介 142
9．2．2 准备创建RAID的环境 144
9．2．3 创建RAID 0 145
9．2．4 创建RAID 5 146
9．2．5 删除RAID 149
第10章 Linux网络基础与远程访问 151
10．1 网络相关概念 152
10．1．1 TCP/IP协议概述 152
10．1．2 IP地址 152
10．1．3 协议端口 154
10．1．4 两种软件架构模式 154
10．2 Linux网络应用技术 155
10．2．1 网络查询与连通性测试 155
10．2．2 网络连通性测试 157
10．2．3 文件传输 158
10．3 配置网络参数 163
10．3．1 网络参数配置文件 163
10．3．2 使用ifconfig配置网络 164
10．3．3 使用nmtui配置网络 165
10．4 Telnet服务 166
10．4．1 Telnet服务的安装与启动 166
10．4．2 Telnet登录 167
10．5 SSH服务 169
10．5．1 OpenSSH服务的安装与配置 169
10．5．2 认证与登录方式 171
10．6 在Windows下远程管理Linux 173
10．6．1 使用WinSCP上传下载文件 173
10．6．2 使用SecureCRT远程管理Linux 178
第11章 网络服务配置与管理 183
11．1 DHCP服务器 184
11．1．1 DHCP协议概述 184
11．1．2 DHCP协议的工作过程 184
11．1．3 DHCP服务器的安装与运行管理 185
11．1．4 网络虚拟环境的建立、配置与运行 186
11．1．5 DHCP服务器的配置与测试 187
11．1．6 DHCP超级作用域与中继代理服务器的配置 190
11．2 DNS服务器 192
11．2．1 DNS概述 192
11．2．2 DNS服务器的安装与运行管理 192
11．2．3 纯DNS服务器的配置与测试 193
11．2．4 主/辅DNS服务器的配置 197
11．2．5 DNS转发与DNS缓存服务器 198
?
11．3 FTP服务器 199
11．3．1 FTP概述 200
11．3．2 FTP服务器的安装与运行管理 200
11．3．3 vsftpd配置 200
11．3．4 虚拟用户配置 203
11．3．5 创建安全的FTP服务器 205
11．4 Apache服务器 207
11．4．1 Apache概述 207
11．4．2 Apache服务器的安装与运行管理 207
11．4．3 Apache服务器的配置与测试 208
11．4．4 Web虚拟主机的配置 210
11．4．5 创建安全的网站 214
11．4．6 虚拟目录与用户认证 216
11．5 Samba跨平台资源共享管理 219
11．5．1 Samba服务器的安装与运行管理 219
11．5．2 Samba服务配置文件 220
11．5．3 可匿名访问的共享文件配置 222
11．5．4 带用户验证的共享文件配置 224
11．6 邮件服务器 227
11．6．1 电子邮件系统的工作原理 228
11．6．2 简单邮件系统的安装与运行管理 229
11．6．3 简单邮件系统的配置 229
11．6．4 配置SMTP认证 233
第12章 大数据与Hadoop生态圈 236
12．1 大数据简介 237
12．2 Hadoop生态圈 238
12．2．1 Hadoop生态圈介绍 238
12．2．2 分布式文件系统HDFS 241
12．2．3 并行计算框架MapReduce 242
12．2．4 内存计算模型Spark 243
12．2．5 第四代计算引擎Flink 244
12．3 Hadoop集群部署 245
12．3．1 准备工作 245
12．3．2 Java的安装与配置 248
12．3．3 Hadoop完全分布式部署 249
12．3．4 Hadoop的启动和验证 254
12．3．5 Hadoop入门实例 256
12．4 Spark系统架构部署 258
12．4．1 Spark部署 258
12．4．2 启动与验证 260
12．4．3 Spark入门实例 262
12．5 Flink系统架构部署 263
12．5．1 Flink部署 263
12．5．2 启动与验证 264
12．5．3 Flink入门实例 265
第13章 数据存储与分析 267
13．1 HBase数据库 268
13．1．1 HBase介绍 268
13．1．2 HBase的特点 268
13．1．3 HBase的部署 269
13．2 Hive数据仓库 272
13．2．1 Hive介绍 272
13．2．2 Hive的部署 272
13．2．3 Hive应用实例 275

丛书推荐序一

数字经济的思维观与人才观

大数据的出现，给我们带来了巨大的想象空间：对科学研究来说，大数据已成为继实验、理论和计算模式之后的数据密集型科学范式的典型代表，带来了科研方法论的变革，正在成为科学发现的新引擎；对产业来说，在当今互联网、云计算、人工智能、大数据、区块链这些蓬勃发展的科技领域中，主角是数据，数据作为新的生产资料，正在驱动整个产业进行数字化转型。正因如此，大数据已成为知识经济时代的战略高地，数据主权已经成了继边防、海防、空防之后，另一个大国博弈的空间。

实现这些想象空间，需要构建众多大数据领域的基础设施，小到科学大数据方面的国家重大基础设施，大到跨越国界的“数字丝路”“数字地球”。今天，我们看到清华大学数据科学研究院大数据基础设施研究中心已经把人才纳入基础设施的范围，组织编写了这套丛书，这个视角是有意义的。新兴的产业需要相应的人才培养体系与之配合，人才培养体系的建立往往存在滞后性。因此，尽可能缩窄产业人才需求和培养过程间的“缓冲带”，将教育链、人才链、产业链、创新链衔接好，就是“产教融合”理念提出的出发点和落脚点。可以说，清华大学数据科学研究院大数据基础设施研究中心为我国大数据、人工智能事业发展模式的实践，迈出了较为坚实的一步，这个模式意味着数字经济宏观的可行路径。

作为我国首套大数据及人工智能方面的产教融合丛书，其以数据为基础，内容涵盖了数据认知与思维、数据行业应用、数据技术生态等各个层面及其细分方向，是数十个代表了行业前沿和实践的产业团队的知识沉淀。特别是在作者遴选时，这套丛书注重选择兼具产业界和学术界背景的行业专家，以便让丛书成为中国大数据知识的一次汇总，这对于中国数据思维的传播、数据人才的培养来说，是一个全新的范本。

我也期待未来有更多产业界的专家及团队加入本套丛书体系中，并和这套丛书共同更新迭代，共同传播数据思维与知识，夯实我国的数据人才基础设施。

郭华东

中国科学院院士

丛书推荐序二

产教融合打造创新人才培养的新模式

数字技术、数字产品和数字经济，是信息时代发展的前沿领域，不断迭代着数字时代的定义。数据是核心战略性资源，自然科学、工程技术和社科人文拥抱数据的力度，对于学科新的发展具有重要意义。同时，数字经济是数据的经济，既是各项高新技术发展的动力，又为传统产业转型提供了新的数据生产要素与数据生产力。

这套丛书从产教融合的角度出发，在整体架构上，涵盖了数据思维方式拓展、大数据技术认知、大数据技术高级应用、数据化应用场景、大数据行业应用、数据运维、数据创新体系七个方面，编写宗旨是搭建大数据的知识体系，传授大数据的专业技能，描述产业和教育在相互促进过程中所面临的问题，并在一定程度上提供相应阶段的解决方案。丛书的内容规划、技术选型和教培转化由新型科研机构——清华大学数据科学研究院大数据基础设施研究中心牵头，而场景设计、案例提供和生产实践由一线企业专家与团队贡献，二者紧密合作，提供了一个可借鉴的尝试。

大数据领域人才培养的一个重要方面，就是以产业实践为导向，以传播和教育为出口，最终服务于大数据产业与数字经济，为未来的行业人才树立技术观、行业观、产业观，进而助力产业发展。

这套丛书适用于大数据技能型人才的培养，适合作为高校、职业学校、社会培训机构从事大数据研究和教学的教材或参考书，对于从事大数据管理和应用的人员、企业信息化技术人员也有重要的参考价值。让我们一起努力，共同推进大数据技术的教学、普及和应用！

谭建荣

中国工程院院士

浙江大学教授

前 言

写作背景

Linux是一套免费和开源的操作系统，从诞生至今对整个ICT行业都具有不可估量的影响及贡献。Linux可安装在各种硬件设备中，如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型计算机和超级计算机等，智能手机操作系统Android就是基于Linux内核开发的。

随着物联网、云计算、大数据和人工智能时代的来临，Linux将迎来更大的发展。大数据技术应用常常使用的开源的Hadoop生态圈也是基于Linux平台部署的。互联网企业的多样化、高难度且复杂的业务及不断扩展的应用领域，对Linux的运维人员提出了更高的要求。

在国家战略和信息安全的大背景下，国家大力推行“国产软件替代”计划。我国自主研发的操作系统也大多基于Linux内核，比如深度OS、中标麒麟等。相信国产操作系统和软件会从大型国企、事业单位等开始试点，然后全面铺开，并在很多关键业务上越来越多地使用Linux。因此，提前学习和掌握Linux将是一件体现战略眼光的事情。

本书特点

本书首次尝试将Linux操作系统管理与Hadoop生态圈部署结合起来编写。Linux是很多院校的相关专业的核心课程，但传统的Linux相关教材对比较流行的Hadoop生态圈部署鲜有涉猎，而Hadoop生态圈部署是大数据运维人员必须了解和掌握的。在目前的整个产业背景下，为适应新技术的发展，培养一批适应市场需求的应用型技能人才，并将两者结合起来显得很有必要。学生掌握Linux的系统管理、网络服务搭建及Hadoop生态圈部署，必将提升自身的竞争力。

本书选用版本较新且应用较为广泛的Linux发行版——CentOS 7.6为对象，并且书中所有实验都在CentOS 7.6平台上调试通过。读者学习本书，将有利于掌握Red Hat系列发行版及其他Linux发行版。

本书在内容的编排上，充分体现了先进性、系统性和实用性，将理论与实践相结合。本书的编者有在教育一线多年从事Linux教学的专业教师，有从企业到学校的大数据运维一线工程师。这些编者熟悉Linux的使用，了解在校学生的特点，并根据多年的教学经验和学生的认知规律精心组织了教材内容，力求做到理论够用、依托实践、深入浅出。

阅读指南

本书所有的命令注释均以“//”开头，写在命令行下方；所有的配置文件注释均以“#”开头；所有的命令和配置项皆测试通过。

本书命令大多是从Shell复制出来的文本，但是由于个别执行结果复杂，不便于排版，因此采用了插入截图的方式。

在实验前，请务必确认虚拟机的网络模式，以及iptables和SELinux的状态。

读者对象

本书既可以作为职业院校的计算机网络技术、大数据运维等相关专业的教材，也可以作为技能竞赛培训、Linux培训指导书，还可以作为Linux和Hadoop初学者、爱好者的入门书。

编写分工

本书由刘猛担任主编，由苏伟斌、张美珍担任副主编，同时参与编写的人员还有肖媚娇、李志军，具体分工如下：第1章由李志军编写；第2、5、6、7、8、9章由刘猛编写；第3、4章由肖媚娇编写；第10、11章由苏伟斌编写；第12、13章由张美珍编写。刘猛负责全书的统稿工作，苏伟斌、张美珍负责配套资源的整理工作。

致谢

感谢电子工业出版社编辑李冰在本书编写过程中对编写体例和内容上给予的悉心指导和大力支持，感谢清华大学数据科学研究院大数据基础设施研究中心学术研究部总监孙雪在本书立项和编写过程中给予的大力支持和指导。同时感谢全体参编人员的努力和付出，感谢我的同事彭武华协助处理书中的部分图片。最后感谢在本书编写过程中给予关怀和支持，提出宝贵编写意见的各位朋友、同事。

由于编者水平及时间所限，本书疏漏之处在所难免，恳请广大读者批评指正，提出宝贵意见，并发邮件到leumoon@vip.163.com。

编 者