大数据 Spark案例实践培训课程

Spark
生态介绍

 Mapreduce、storm和spark模型的比较和使用场景介绍
 Spark产生背景
 Spark（内存计算框架）
 SparkSteaming（流式计算框架）
 Spark SQL（ad-hoc）
 Mllib（MachineLearning）
 GraphX（bagel将被代）
 DlinkDB介绍
 SparkR介绍

Spark
安装部署

 Spark安装简介
 Spark的源码编译
 Spark Standalone安装
 Spark Standalone HA安装
 Spark应用程序部署工具spark-submit
 Spark的高可用性部署

Spark
运行架构和解析

 Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程
 Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析

Spark
scala编程

• Scala基本语法
• Scala开发环境搭建
• Scala开发Spark应用程序
• 使用java编程
• 使用scala编程
• 使用python编程

Spark
编程模型和解析

 Spark的编程模型
• Spark编程模型解析
• RDD的特点、操作、依赖关系
• Spark应用程序的配置

Spark Streaming原理和实践

 Spark Streaming与Strom的区别
 Kafka的部署
 Kafka与Spark Streaming的整合
 Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• Spark Streaming的优化
 Spark Streaming实例
• 文本实例
• 网络数据处理
• Kafka+Spark Streaming实现日志的实时分析案例

Spark 
SQL原理和实践

 Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
 Spark SQL的实例和编程
• Spark SQL的实例操作demo
• Spark SQL的编程
• DataFrame架构和原理
• DataFrame支持的统计和数学函数介绍
• 从RDD创建DataFrame
• 从Hive表创建DataFrame
• 从数据源创建DataFrame

Spark的数据源

 Spark与HDFS的整合
 HDFS RDD原理和实现
 Spark与Hbase的整合
 Spark与Cassendera整合
 Hbase RDD的分区读取
 Hbase RDD的原理和实现
 Spark parallelism RDD的工作机制

Spark 数据挖掘

 Mllib的介绍
 graphX核心原理
 table operator和graph operator区别
 vertices、edges和triplets介绍
 构建一个graph
 SparkR原理
 SparkR实战

典型项目
案例实战

 基于spark日志分析
 个性化推荐系统：带你揭开其神秘面纱
 在线投放引擎
 揭开淘宝点击推荐系统的神秘面纱
 淘宝数据服务架构—实时计算平台

Spark的优化

 序列化优化——Kryo
 Spark参数优化实战
 Spark 任务的均匀分布策略
 Partition key倾斜的解决方案
 Spark任务的监控
 GC的优化
 Spark Streaming吞吐量优化
 Spark RDD使用内存的优化策略
 Spark在使用中的感想分享