• 搜素结果

 / 

Hadoop与Spark大数据架构专题

Teradata
云平台系统架构师
2726
19921
26600
Hadoop与Spark大数据架构专题
推荐课程
暂无评分
推荐课程
暂无评分
¥

6800.00

每人

课程时长

课程排期 ( 最后更新:2018/01/05)

当前剩余席位: 0 / 30 (位)

地点: 北京
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

课程详细[html版]

课程信息

当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

培训特色

当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

目标收益

本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及分布式数据收集,大数据存储,资源管理及分布式计算框架等。本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume,HDFS,Hbase,YARN,MapReduce,Hive,Zookeeper,Spark,Storm,SparkStreaming等主流的大数据开源系统架构及应用经验。

培训对象

各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。

学员基础

了解Java语言、Linux系统;

课程大纲

主题 内容

大数据架构概述

1.1大数据层级架构及各层软件设计要求,包括数据收集、存储、计算框、应用
1.2 Hadoop生态系统概述以及版本演化,并给出版本选择建议。
1.3 Spark生态系统概述及其特点,并与Hadoop对比

数据收集系统Flume与Sqoop

2.1使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘

大数据存储系统HDFS与HBase

3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构(快照、缓存、异构存储)。
3.2 HBase原理,基本架构与案例分析
3.3 HBase应用场景、原理和架构,典型应用案例(互联网、银行)

集群资源管理与调度系统

4.1 介绍YARN应用场景、基本架构与资源调度

Zookeeper部署及典型应用

5.1 介绍Zookeeper是什么,基本原理及在应用

大数据计算平台

介绍主流的三大类大数据计算框架,分别是批处理、交互式计算和流式计算框架,并选取当下主流的开源实现进行介绍。
6.1 批处理计算框架
6.1.1 MapReduce2.0基本原理与架构、程序编写(使用java、C++、php语言)
6.1.2 数据分析系统Hive与Pig应用与比较,如何使用其中的海量数据
6.1.3 Spark计算框架,背景及应用案例
6.2 交互式计算框架,Impala和presto应用场景,基本架构和典型应用案例
6.3 流式/实时计算框架,storm、SparkStreaming基本架构特点,及应用案例

数据挖掘与机器学习库

7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。

大数据架构概述

1.1大数据层级架构及各层软件设计要求,包括数据收集、存储、计算框、应用
1.2 Hadoop生态系统概述以及版本演化,并给出版本选择建议。
1.3 Spark生态系统概述及其特点,并与Hadoop对比

数据收集系统Flume与Sqoop

2.1使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘

大数据存储系统HDFS与HBase

3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构(快照、缓存、异构存储)。
3.2 HBase原理,基本架构与案例分析
3.3 HBase应用场景、原理和架构,典型应用案例(互联网、银行)

集群资源管理与调度系统

4.1 介绍YARN应用场景、基本架构与资源调度

Zookeeper部署及典型应用

5.1 介绍Zookeeper是什么,基本原理及在应用

大数据计算平台

介绍主流的三大类大数据计算框架,分别是批处理、交互式计算和流式计算框架,并选取当下主流的开源实现进行介绍。
6.1 批处理计算框架
6.1.1 MapReduce2.0基本原理与架构、程序编写(使用java、C++、php语言)
6.1.2 数据分析系统Hive与Pig应用与比较,如何使用其中的海量数据
6.1.3 Spark计算框架,背景及应用案例
6.2 交互式计算框架,Impala和presto应用场景,基本架构和典型应用案例
6.3 流式/实时计算框架,storm、SparkStreaming基本架构特点,及应用案例

数据挖掘与机器学习库

7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。

+加载更多
Donec quam felis

Thousand unknown plants are noticed by me: when I hear the buzz of the little world among the stalks, and grow familiar with the countless indescribable forms of the insects and flies, then I feel the presence of the Almighty, who formed us in his own image, and the breath

I am alone, and feel the charm of existence in this spot, which was created for the bliss of souls like mine. I am so happy, my dear friend, so absorbed in the exquisite sense of mere tranquil existence, that I neglect my talents. I should be incapable of drawing a single stroke at the present moment; and yet.

+加载更多

近期公开课推荐

20
一月
北京
技术管理者训练营

“猛将必发于卒伍,宰相必起于州郡”,软件…

20
一月
北京
高质量软件架构设计案例分析和最佳实践

随着网络与信息技术的高速发展,软件研发逐…

20
一月
上海
自动化测试及持续集成最佳实践

本课程内容提炼自讲师多年来的一线自动化测…

20
一月
广东
机器学习(深度学习)算法和应用

机器学习(深度学习)算法和应用

20
一月
北京
Android高级开发

通过具体的实例和互动让培训学员更快更高效…

26
一月
广东
分布式体系架构设计工作坊

分布式体系架构设计工作坊通过架构设计实战…

课程反馈

当前课程还没有反馈信息

用户还看了其他课程

O2O精益创业实战工坊

O2O精益创业实战工坊

27126人看过
0人评价
破解4小时上线传说

破解4小时上线传说

6010人看过
0人评价

欢迎来到msup!

还不是msup会员?快来注册吧!

立即注册

服务热线

400-812-8020

market@msup.com.cn

官方微信公众号

微信公众号:msupclub

Copyright © 2017 msup

京ICP备09001521号