课程费用

6800.00 /人

课程时长

3

成为教练

课程简介

本课程首先从全局的视角,全面介绍了未来技术发展的趋势,以及大数据在整个技术架构中所处的位置。大数据的应用场景、设计思想,以及如何开发大数据的商业价值。
接着,课程由浅入深地介绍了Hadoop及其核心组件、Spark分布式计算框架与Scala语言。在此基础上,课程详细讲解了建设大数据分析系统所需的各类系统及其开发实战,包括Sqoop, Hive, HBase, Kylin, ElasticSearch, Kafka, Flink以及Zookeeper。
课程最后,站在实战的角度,讲解了一个传统分析型系统的大数据转型过程:期初遇到哪些难题,解决的思路,以及整个转型的过程。

目标收益

培训对象

1、系统架构师、系统分析师、高级程序员、资深开发人员。
2、牵涉到海量数据处理的机构数据中心运行、规划、设计负责人。
3、云服务运营服务提供商规划负责人。
4、高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

课程大纲

第一单元 大数据分析处理技术与商业价值 什么是大数据
1.传统的软件架构
1)传统架构的设计局限
2)用户操作的三种类型
3)针对三种操作的优化策略
4)基于读写分离的架构设计
应用案例:淘宝网的架构设计
2.BI分析系统
1)OLTP vs. OLAP
2)面向主题的设计思想
3)数据仓库与BI分析系统
4)基于传统架构的BI系统建设
5)基于大数据的BI系统建设
应用案例:宏观经济分析系统与中美贸易摩擦的分析
3.大数据分析系统
1)解决大并发问题的方案→读写分离→NoSQL数据库
应用案例:12306网站的余票查询
2)解决海量数据收集与存储→收集日志文件→分布式文件系统
应用案例:用户推荐系统的建设
3)数据挖掘与机器学习→丰富的分析工具→组建数据分析团队
应用案例:企业征信平台

大数据时代思维的变革
1.不是随机样本,而是全体数据
2.不是精确性,而是混杂性
3.不是因果关系,而是相关关系
大数据时代的商业价值
1.从最不可能的地方获取数据
2.不再是数字化,而是数据化
1)文字变为数据
2)方位变为数据
3)沟通变为数据
3.数据的思维创新
1)数据的再利用
2)数据的可扩展
3)数据的折旧值
4)数据的开放性
4.大数据的商业应用
1)大数据运营
2)用户行为分析
3)精准营销与推荐系统
4)风险控制与反欺诈
5)实时分析系统
第二单元 Hadoop技术框架 Hadoop的发展历程
1.Google的MapReduce
2.Google的Bigtable
3.Facebook的Cassandra
结论:Hadoop有效地降低了大数据门槛

Hadoop的设计理念
1.分布式并行计算
2.移动计算而不是移动数据
3.单点故障可容忍

Hadoop的生态圈
1.Hadoop核心组件:MapReduce,HDFS
2.Hadoop2.0
1)Yarn与Hue
2)Cloudera vs. Hortonworks
3.并行计算框架:Spark vs. MapReduce
4.在线查询:HBase与Impala
5.流式计算:Storm vs. Spark Stream
6.文本索引:Solr vs. ElasticSearch
7.Zookeeper与高可靠架构
8.Kafka分布式队列与日志收集
9.数据挖掘工具:Mahout、SparkR与Spark ML
第三单元 Hadoop核心组件 工作原理
1.HDFS的工作原理
2.MapReduce的工作原理
3.对工作原理的深度解读
1)深度理解“移动计算”
2)Hadoop的性能问题
3)Hadoop的优势与劣势

MapReduce实战
实战:编写WordCount程序
实战:实现日志分析程序(Map only)
实战:实现数据关联查询

MapReduce的性能调优
1.使用分布式缓存
2.处理文件的读写
3.Combiner, partitioner与order
4.重复使用变量原则
第四单元 Spark技术 工作原理
1.Spark在Hadoop生态圈中的位置
2.Spark vs. MapReduce
3.Spark系统架构与RDD
1)RDD的运行原理
2)转换/行动 命令
3)名-值对RDD
案例:WordCount在Spark中的实现

Spark编程
1.对RDD编程
1)转换命令
2)行动命令
2.对名-值对RDD编程
1)聚合/分组/连接/排序
2)优化
3.数据装载与保存
4.SparkSQL
案例:运用Spark实现用户资料的采集与展现

Scala编程语言
1.Scala语言的编程特点
1)函数式编程风格
2)交互式解释器
2.Scala编程基础
1)定义变量、函数、类与对象
2)定义数组、list、set、map、元组与循环体
3)If, switch及基本操作
4)异常处理及类的层次关系
3.函数式编程
1)类成员函数、局部函数
2)函数的简化写法与闭包
3)可变参数、命名参数、缺省参数
4)尾递归
4.组合与继承
1)抽象类与抽象方法
2)重载成员函数与方法

Spark的测试与发布
1.Spark-shell
2.本地运行调试
3.部署运行分布式系统
第五单元 大数据系统转型 传统分析系统向大数据转型
1.传统BI系统面临的难题
1)团队大数据0基础
2)要快速进入市场
解决方案:
1)正确的技术选型降低门槛
2)演化式技术转型
2.案例:一次税务数据分析的演化式BI转型过程
1)项目背景介绍
2)革命式大数据转型的风险
3)渐进式大数据转型的思路
4)转型过程中的技术选型思路

第一阶段转型:ETL过程的大数据转型

大数据分析系统的整体架构
1.传统BI分析系统的设计套路
1)多维建模与数据仓库
2)数据治理与ETL过程
2.大数据分析系统的架构设计
1)大数据分析系统的技术选型
2)大数据分析系统的硬件配置

数据导入导出
1.sqoop工作原理
2.数据导入功能
1)导入成HDFS、Hive、HBase
2)增量导入
实战:数据导入的实战应用
3.数据导出功能
1)导出成HDFS、Hive、HBase
2)增量导出
实战:数据导出的实战应用

ETL过程
1.ETL的概念
2.Hive工作原理
3.Hive命令:创建表、导入数据、查询数据、分区
4.Hive+SparkSQL的开发实战
5.清洗、转换、集成、装载的应用案例

数据查询
1.离线分析、在线查询与近线分析
2.NoSQL数据库
1)分布式架构CAP理论
2)BASE原则与弱一致性
3)NoSQL数据库的特点与优势
3.HBase的工作原理
1)HBase的概念模型
2)HBase的物理模型
3)HBase的列式存储
4)HBase的系统架构
5)HBase存储数据的特点
4.HBase的开发实战

高可靠的架构设计
1.Zookeeper的运行原理
2.实战:Zookeeper实现高可靠的软件架构

第二阶段转型:建立ElasticSearch数据索引

数据索引
1.ElasticSearch的性能分析与特点
2.ElasticSearch的应用实战
1)建立ElasticSearch的Hive映射表
2)往ElasticSearch中写入数据
3)用REST接口进行海量数据秒级查询
3.ElasticSearch应用开发应注意的问题

第三阶段转型:引入Kylin大数据多维建模

数据分析
1.多维数据建模
2.Kylin的工作原理
3.Kylin的开发实战
1)Kylin的数据导入
2)建立数据模型
3)建立Cube
4)使用jdbc进行数据查询
4.Kylin的性能优化
1)Kylin的数据膨胀率
2)强制索引、层级索引与组合索引
3)Kylin的增量导入脚本

第四阶段转型:深度大数据应用

实时数据分析
1.批处理 vs. 实时分析
2.实时分析系统应用实战
1)Flink及其原理
2)Kafka及其原理
3)Kafka+Flink的应用实战
案例:用户行为分析应用举例

数据挖掘与人工智能
1.数据挖掘算法及其原理
2.数据挖掘过程及其人员配置
3.SparkML简介
案例:远程智慧医疗平台的人工智能建设过程
第一单元 大数据分析处理技术与商业价值
什么是大数据
1.传统的软件架构
1)传统架构的设计局限
2)用户操作的三种类型
3)针对三种操作的优化策略
4)基于读写分离的架构设计
应用案例:淘宝网的架构设计
2.BI分析系统
1)OLTP vs. OLAP
2)面向主题的设计思想
3)数据仓库与BI分析系统
4)基于传统架构的BI系统建设
5)基于大数据的BI系统建设
应用案例:宏观经济分析系统与中美贸易摩擦的分析
3.大数据分析系统
1)解决大并发问题的方案→读写分离→NoSQL数据库
应用案例:12306网站的余票查询
2)解决海量数据收集与存储→收集日志文件→分布式文件系统
应用案例:用户推荐系统的建设
3)数据挖掘与机器学习→丰富的分析工具→组建数据分析团队
应用案例:企业征信平台

大数据时代思维的变革
1.不是随机样本,而是全体数据
2.不是精确性,而是混杂性
3.不是因果关系,而是相关关系
大数据时代的商业价值
1.从最不可能的地方获取数据
2.不再是数字化,而是数据化
1)文字变为数据
2)方位变为数据
3)沟通变为数据
3.数据的思维创新
1)数据的再利用
2)数据的可扩展
3)数据的折旧值
4)数据的开放性
4.大数据的商业应用
1)大数据运营
2)用户行为分析
3)精准营销与推荐系统
4)风险控制与反欺诈
5)实时分析系统
第二单元 Hadoop技术框架
Hadoop的发展历程
1.Google的MapReduce
2.Google的Bigtable
3.Facebook的Cassandra
结论:Hadoop有效地降低了大数据门槛

Hadoop的设计理念
1.分布式并行计算
2.移动计算而不是移动数据
3.单点故障可容忍

Hadoop的生态圈
1.Hadoop核心组件:MapReduce,HDFS
2.Hadoop2.0
1)Yarn与Hue
2)Cloudera vs. Hortonworks
3.并行计算框架:Spark vs. MapReduce
4.在线查询:HBase与Impala
5.流式计算:Storm vs. Spark Stream
6.文本索引:Solr vs. ElasticSearch
7.Zookeeper与高可靠架构
8.Kafka分布式队列与日志收集
9.数据挖掘工具:Mahout、SparkR与Spark ML
第三单元 Hadoop核心组件
工作原理
1.HDFS的工作原理
2.MapReduce的工作原理
3.对工作原理的深度解读
1)深度理解“移动计算”
2)Hadoop的性能问题
3)Hadoop的优势与劣势

MapReduce实战
实战:编写WordCount程序
实战:实现日志分析程序(Map only)
实战:实现数据关联查询

MapReduce的性能调优
1.使用分布式缓存
2.处理文件的读写
3.Combiner, partitioner与order
4.重复使用变量原则
第四单元 Spark技术
工作原理
1.Spark在Hadoop生态圈中的位置
2.Spark vs. MapReduce
3.Spark系统架构与RDD
1)RDD的运行原理
2)转换/行动 命令
3)名-值对RDD
案例:WordCount在Spark中的实现

Spark编程
1.对RDD编程
1)转换命令
2)行动命令
2.对名-值对RDD编程
1)聚合/分组/连接/排序
2)优化
3.数据装载与保存
4.SparkSQL
案例:运用Spark实现用户资料的采集与展现

Scala编程语言
1.Scala语言的编程特点
1)函数式编程风格
2)交互式解释器
2.Scala编程基础
1)定义变量、函数、类与对象
2)定义数组、list、set、map、元组与循环体
3)If, switch及基本操作
4)异常处理及类的层次关系
3.函数式编程
1)类成员函数、局部函数
2)函数的简化写法与闭包
3)可变参数、命名参数、缺省参数
4)尾递归
4.组合与继承
1)抽象类与抽象方法
2)重载成员函数与方法

Spark的测试与发布
1.Spark-shell
2.本地运行调试
3.部署运行分布式系统
第五单元 大数据系统转型
传统分析系统向大数据转型
1.传统BI系统面临的难题
1)团队大数据0基础
2)要快速进入市场
解决方案:
1)正确的技术选型降低门槛
2)演化式技术转型
2.案例:一次税务数据分析的演化式BI转型过程
1)项目背景介绍
2)革命式大数据转型的风险
3)渐进式大数据转型的思路
4)转型过程中的技术选型思路

第一阶段转型:ETL过程的大数据转型

大数据分析系统的整体架构
1.传统BI分析系统的设计套路
1)多维建模与数据仓库
2)数据治理与ETL过程
2.大数据分析系统的架构设计
1)大数据分析系统的技术选型
2)大数据分析系统的硬件配置

数据导入导出
1.sqoop工作原理
2.数据导入功能
1)导入成HDFS、Hive、HBase
2)增量导入
实战:数据导入的实战应用
3.数据导出功能
1)导出成HDFS、Hive、HBase
2)增量导出
实战:数据导出的实战应用

ETL过程
1.ETL的概念
2.Hive工作原理
3.Hive命令:创建表、导入数据、查询数据、分区
4.Hive+SparkSQL的开发实战
5.清洗、转换、集成、装载的应用案例

数据查询
1.离线分析、在线查询与近线分析
2.NoSQL数据库
1)分布式架构CAP理论
2)BASE原则与弱一致性
3)NoSQL数据库的特点与优势
3.HBase的工作原理
1)HBase的概念模型
2)HBase的物理模型
3)HBase的列式存储
4)HBase的系统架构
5)HBase存储数据的特点
4.HBase的开发实战

高可靠的架构设计
1.Zookeeper的运行原理
2.实战:Zookeeper实现高可靠的软件架构

第二阶段转型:建立ElasticSearch数据索引

数据索引
1.ElasticSearch的性能分析与特点
2.ElasticSearch的应用实战
1)建立ElasticSearch的Hive映射表
2)往ElasticSearch中写入数据
3)用REST接口进行海量数据秒级查询
3.ElasticSearch应用开发应注意的问题

第三阶段转型:引入Kylin大数据多维建模

数据分析
1.多维数据建模
2.Kylin的工作原理
3.Kylin的开发实战
1)Kylin的数据导入
2)建立数据模型
3)建立Cube
4)使用jdbc进行数据查询
4.Kylin的性能优化
1)Kylin的数据膨胀率
2)强制索引、层级索引与组合索引
3)Kylin的增量导入脚本

第四阶段转型:深度大数据应用

实时数据分析
1.批处理 vs. 实时分析
2.实时分析系统应用实战
1)Flink及其原理
2)Kafka及其原理
3)Kafka+Flink的应用实战
案例:用户行为分析应用举例

数据挖掘与人工智能
1.数据挖掘算法及其原理
2.数据挖掘过程及其人员配置
3.SparkML简介
案例:远程智慧医疗平台的人工智能建设过程

活动详情

提交需求