第3章 Hadoop基础操作

教案

课程名称：Hadoop大数据开发基础

课程类别：必修

适用专业：大数据技术类相关专业

总学时：48学时

总学分：3.0学分

本章学时：6学时

一、 材料清单

（1） 《Hadoop大数据开发基础》教材。

（2） 配套PPT。

（3） 数据。

（4） 引导性提问。

（5） 探究性问题。

（6） 拓展性问题。

（7） Hadoop 2.6.4源码包。

二、 教学目标与基本要求

1. 教学目标

主要介绍Hadoop的基础操作知识，结合实际任务及多个示例对内容进行讲解，使学生对Hadoop集群的文件系统与计算资源，以及提交MapReduce任务有了初步的理解。要求掌握的内容主要内容包括4点：查看Hadoop文件系统与计算资源信息、掌握HDFS文件系统的基本命令、通过使用官方示例包执行词频统计的任务，了解MapReduce任务的执行流程和对MapReduce任务进行查询与中断。

2. 基本要求

（1） 掌握查看存储系统的基本信息。

（2） 掌握查看Hadoop集群的计算资源。

（3） 掌握HDFS文件系统的基本操作。

（4） 掌握以hadoop jar方式提交MapReduce任务。

（5） 能够管理MapReduce多任务。

三、 问题

3. 引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

（1） 是否了解过关于文件系统的内容？

（2） 你认为HDFS文件系统与Windows或Linux的文件系统有什么异同？

（3） 从之前的配置中是否对如何查看HDFS文件系统有认识？

（4） 在启动集群时，对应启动的任务代表什么？

4. 探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

（1） HDFS与Linux系统的本质区别是什么？

（2） 启动集群的哪些服务就可以操作HDFS文件系统？如果要提交MapReduce任务呢？

（3） HDFS文件系统客户端能为我们提供集群的哪些信息？

（4） 操作HDFS文件系统的的命令是什么？可以在哪些客户端操作HDFS？

（5） 如何查看HDFS端数据的块分布和副本存放情况？

（6） 如何提交一个MapReduce任务？

（7） 如何查看一个MapReduce任务的Map和Reduce任务数？

5. 拓展性问题

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

（1） 中断一个MapReduce任务有哪些方法？

（2） 一个MapReduce任务从提交到结束会有哪些状态，分别代表什么？

四、 主要知识点、重点与难点

6. 主要知识点

（1） 了解HDFS的操作方法。

（2） MapReduce任务的运行和中断方法。

（3） 集群监控的查看方法。

7. 重点

（1） HDFS文件系统操作方法。

（2） 如何提交MapReduce任务。

8. 难点

（1）HDFS基础操作。

（2）提交和中断MapReduce任务。

五、 教学过程设计

（1） 查看HDFS文件系统客户端。

（2） 查看任务日志监控窗口。

（3） HDFS文件系统的基础操作方法。

（4） 提交和中断MapReduce任务。

（5） 管理多个MapReduce任务。

六、 教材与参考资料

9. 教材

余明辉，张良均．Hadoop大数据开发基础[M]．北京：人民邮电出版社．2018．

10. 参考资料

[1] 张良均，樊哲，位文超，刘名军．Hadoop与大数据挖掘[M]．北京：机械工业出版社．2015．

[2] 张良均，樊哲，赵云龙，李成华．Hadoop大数据分析与挖掘实战[M]．北京：机械工业出版社．2015．