• 搜素结果

 / 

新课-Hadoop、spark和NoSQL大数据实战

Teradata
云平台系统架构师
3651
26864
5711
新课-Hadoop、spark和NoSQL大数据实战
推荐课程
暂无评分
推荐课程
暂无评分
¥

6800.00

每人

课程时长

课程排期

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系

地点: 该课程暂无排期
没有地点信息
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

课程详细[html版]

课程信息

当下是大数据时代,为构建大数据平台,技术人员需要对分布式计算平台有一定深入的理解和应用。

培训特色

本课程将为大家全面而又深入的介绍Hadoop、spark和NoSQL平台的构建流程,涉及Hadoop、spark和NoSQL系统基础知识,概念及架构,Hadoop、spark和NoSQL实战技巧,Hadoop、spark和NoSQL经典案例等。
(本大纲内容,公开课时长2天,内训课时长建议3天)

目标收益

通过本课程实践,帮助学员对Hadoop、spark和NoSQL生态系统有一个清晰明了的认识;理解Hadoop、spark和NoSQL系统适用的场景;掌握Hadoop、spark和NoSQL等初中级应用开发技能;搭建稳定可靠的Hadoop、spark和NoSQL集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例,包括阿里巴巴,华为等。

培训对象

各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。

学员基础

了解Linux系统及相关语言环境

课程大纲

主题 内容

大数据在国内的运用

大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍

大数据的整体技术架构

开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin
实时查询框架介绍
—NoSQL、Hbase
实时计算框架介绍
—Kafka、Strom、Spark Streaming
内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR
前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等
海量日志快速检索架构
—ELK(Elasticsearch、Logstash、Kibana)等

Hadoop平台优化点

Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍

Hadoop核心组件的运维和配置

HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践

Yarn实战

Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置

NoSQL和Hbase使用

NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析
实战:
MapReduce操作Hbase实战
Hbase的API实战
Hbase表结构设计实战
银行信用卡刷卡记录的查询

Spark Streaming原理和实践

Spark Streaming原理
1.Spark流式处理架构
2.DStream的特点
3.Dstream的操作和RDD的区别
4.SatefulRDD和windowRDD实战
5.Kafka+Spark Steaming实战
6.Spark Streaming的优化
Kafka+Spark Streaming实例
-文本实例
网络数据处理

Spark SQL原理和实践

Spark SQL原理
1.Spark SQL的Catalyst优化器
2.Spark SQL内核
3.Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
-Spark SQL的实例操作demo
Spark SQL的编程

Spark优化

Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制

互联网大数据案例分享

金融大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例
SAP的HANA实时计算平台案例分析

大数据在国内的运用

大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍

大数据的整体技术架构

开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin
实时查询框架介绍
—NoSQL、Hbase
实时计算框架介绍
—Kafka、Strom、Spark Streaming
内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR
前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等
海量日志快速检索架构
—ELK(Elasticsearch、Logstash、Kibana)等

Hadoop平台优化点

Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍

Hadoop核心组件的运维和配置

HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践

Yarn实战

Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置

NoSQL和Hbase使用

NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析
实战:
MapReduce操作Hbase实战
Hbase的API实战
Hbase表结构设计实战
银行信用卡刷卡记录的查询

Spark Streaming原理和实践

Spark Streaming原理
1.Spark流式处理架构
2.DStream的特点
3.Dstream的操作和RDD的区别
4.SatefulRDD和windowRDD实战
5.Kafka+Spark Steaming实战
6.Spark Streaming的优化
Kafka+Spark Streaming实例
-文本实例
网络数据处理

Spark SQL原理和实践

Spark SQL原理
1.Spark SQL的Catalyst优化器
2.Spark SQL内核
3.Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
-Spark SQL的实例操作demo
Spark SQL的编程

Spark优化

Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制

互联网大数据案例分享

金融大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例
SAP的HANA实时计算平台案例分析

+加载更多
Donec quam felis

Thousand unknown plants are noticed by me: when I hear the buzz of the little world among the stalks, and grow familiar with the countless indescribable forms of the insects and flies, then I feel the presence of the Almighty, who formed us in his own image, and the breath

I am alone, and feel the charm of existence in this spot, which was created for the bliss of souls like mine. I am so happy, my dear friend, so absorbed in the exquisite sense of mere tranquil existence, that I neglect my talents. I should be incapable of drawing a single stroke at the present moment; and yet.

+加载更多

近期公开课推荐

26
十月
北京
卓越软件工程师代码整洁之道

该课程适应于各个阶段的技术人员.初级工程师…

26
十月
四川
产品经理技能提升训练营(2天版)

产品经理是个核心岗位,对产品的成败有着重…

26
十月
四川
软件重构实战训练营(2天)

这就是本课程所要讲述的内容---重构。简言之…

27
十月
广东
通往卓越管理的阶梯

从一名出色的技术人员成长为一名管理者并不…

27
十月
北京
深入浅出Docker

本课程的目标在于为企业级的开发、运维环境…

27
十月
上海
自动化测试框架设计与最佳实践

本课程依托业界领先公司的自动化测试实施体…

课程反馈

当前课程还没有反馈信息

用户还看了其他课程

Oracle数据仓库培训大纲与服务包

Oracle数据仓库培训大纲与服务包

16140人看过
0人评价
iOS开发技术深入研究

iOS开发技术深入研究

99119人看过
0人评价

欢迎来到msup!

还不是msup会员?快来注册吧!

立即注册

服务热线

400-812-8020

market@msup.com.cn

官方微信公众号

微信公众号:msupclub

Copyright © 2017 msup

京ICP备09001521号