Hadoop、spark和NoSQL大数据培训课程
培训目标：
通过本课程实践，帮助学员对Hadoop、spark和NoSQL生态系统有一个清晰明了的认识；理解Hadoop、spark和NoSQL系统适用的场景；掌握Hadoop、spark和NoSQL等初中级应用开发技能；搭建稳定可靠的Hadoop、spark和NoSQL集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。
培训对象
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
培训大纲
|
大数据在国内的运用
|
大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍
|
|
大数据的整体技术架构
|
开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin
实时查询框架介绍
—NoSQL、Hbase
实时计算框架介绍
—Kafka、Strom、Spark Streaming
内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR
前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等
海量日志快速检索架构
—ELK（Elasticsearch、Logstash、Kibana）等
|
|
Hadoop平台优化点
|
Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍
|
|
Hadoop核心组件的运维和配置
|
HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践
|
|
Yarn实战
|
Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置
|
|
NoSQL和Hbase使用
|
NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析
|
|
Spark Streaming原理和实践
|
Spark Streaming原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• SatefulRDD和windowRDD实战
• Kafka+Spark Steaming实战
• Spark Streaming的优化
Kafka+Spark Streaming实例
• 文本实例
网络数据处理
|
|
Spark SQL原理和实践
|
Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
• Spark SQL的实例操作demo
Spark SQL的编程
|
|
Spark优化
|
Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制
|
|
互联网大数案例分享
|
互联网大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例
|
