| 一、云计算 |
云计算架构概览
云计算能带来什么好处
云计算之虚拟机
云计算之大数据
经典的使用案例 |
| 二、大数据之分布式存储 |
分布式存储-HDFS
大数据的好处
大数据的核心架构
企业使用大数据的案例
什么是分布式文件系统和HDFS
HDFS设计目标
HDFS的基本组件
HDFS架构图和工作原理
HDFS服务进程详解
HDFS的未来发展
NameNode详解
DataNode详解
HDFS副本备份策略 |
| 三、分布式存储实战 |
HDFS实战-命令行等使用
- HDFS安装须知
- HDFS命令行工具
- 启动、停止HDFS服务
- 如何查看HDFS日志
- 如何查看HDFS Web控制台
- HDFS参数配置
- 上机练习 HDFS实战-Java API使用
- Eclipse 开发环境介绍
- HDFS 开发基本步骤
- HDFS Java API详解 oConfiguration
oPath
oFileSystem
oStream、IOUtils
- HDFS Java API使用场景示例
- FuseHDFS
- WebHDFS RESTful API
上机练习
|
| 四、大数据之分布式计算 |
什么是MapReduce
MapReduce服务
MapReduce服务
MapReduce作业执行流程
MapReduce错误处理机制
MapReduce高级特性
MapReduce任务调度
MapReduce任务调度 |
| 五、分布式计算实战 |
MapReduce命令行使用
- 启动、停止MapReduce服务
- 查看MapReduce日志
- 查看MapReduce控制台
- MapReduce参数配置
MapReduce 编程实战
- MapReduce框架类库介绍
- 开发MapReduce程序步骤
- WordCount流程分解
- WordCount代码分析
- 上机练习 Hadoop IO 框架
- 为什么要学习Hadoop I/O框架
- 序列化
- SequenceFile
- MapFile
- 数据完整性
- 数据压缩 上机练习
|
| 六、大数据之数据仓库-Ｈive |
什么是Hive？
Hive的架构原理
如何利用Hive来建造数据仓库？
Hive的使用
HQL的调优：
操作练习 |
七、大数据之NOSQL-Ｈbase
|
什么是Hbase？
- Hbase的架构原理
- Hbase核心知识点
- HBase列族与列
- HBase时间戳
- HBase物理模型
- 数据存储结构:LSM
- HBase Log
- HBase Filter HBase安装
配置与优化
表设计与相关参数
操作练习
|
| 八、大数据之内存计算-Spark |
Spark架构介绍
Scala介绍
Mesos介绍
Spark介绍
Spark原理及架构剖析
Spark RDD计算模型解析
Spark的任务执行机制解析
Spark的调试与任务分配
Spark的容错机制剖析
Spark集群部署
- Standalone
- 集群分布式
- 与HDFS结合 Spark Shell命令行分析
构建与运行Spark应用
Spark RDD操作方法解析
Spark作业测试解析
Spark的性能调优
Spark生态体系剖析
- SPARK SQL
- SPARK ML
- SPARK Streaming
Spark应用实践
|
| 九、大数据之资源管理-Yarn |
Yarn 与MapReduce的不同
Yarn 原理与架构
Apache YARN基本框架
Apache YARN工作流程
Apache YARN设计细节
Yarn 核心技术模块原理解析
- Yarn ResouceManager原理解析
- Yarn NodeManager 原理解析
- Yarn ApplicationMaster MapReduce与YARN结合
如何与Yarn来结合
Yarn 配置及搭建
|
| 十、大数据之分析脚本工具-Pig |
Pig基础
使用Pig进行简单数据分析
使用Pig处理复杂数据
使用Pig分析处理多数据集
扩展Pig
Pig排错和优化 |
| 十一、数据安全 |
安全体系图
应用安全、数据安全
多级认证体系
产品安全思路
学员实际演练与老师现场指导 |
| 十二、云计算运维体系 |
云计算运维体系架构图
服务可靠性
提高服务质量
降低服务成本
现场演示：实际项目中云计算运维体系架构图。 |
| 十三、大练习：以实际项目案例为基础 |
进行云计算分布式架构的设计思路和流程实际演练。
（此内容是本课程的重点内容，课程压轴大作，从而 使云计算架构设计最终落地） |
