• 搜素结果

 / 

新课-Hadoop、spark和NoSQL大数据实战

Teradata
云平台系统架构师
3432
25220
4664
新课-Hadoop、spark和NoSQL大数据实战
推荐课程
暂无评分
推荐课程
暂无评分
¥

6800.00

每人

课程时长

课程排期 ( 最后更新:2018/08/09)

当前剩余席位: 0 / (位)

地点: 四川 成都
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

课程详细[html版]

课程信息

当下是大数据时代,为构建大数据平台,技术人员需要对分布式计算平台有一定深入的理解和应用。

培训特色

本课程将为大家全面而又深入的介绍Hadoop、spark和NoSQL平台的构建流程,涉及Hadoop、spark和NoSQL系统基础知识,概念及架构,Hadoop、spark和NoSQL实战技巧,Hadoop、spark和NoSQL经典案例等。
(本大纲内容,公开课时长2天,内训课时长建议3天)

目标收益

通过本课程实践,帮助学员对Hadoop、spark和NoSQL生态系统有一个清晰明了的认识;理解Hadoop、spark和NoSQL系统适用的场景;掌握Hadoop、spark和NoSQL等初中级应用开发技能;搭建稳定可靠的Hadoop、spark和NoSQL集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例,包括阿里巴巴,华为等。

培训对象

各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。

学员基础

了解Linux系统及相关语言环境

课程大纲

主题 内容

大数据在国内的运用

大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍

大数据的整体技术架构

开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin
实时查询框架介绍
—NoSQL、Hbase
实时计算框架介绍
—Kafka、Strom、Spark Streaming
内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR
前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等
海量日志快速检索架构
—ELK(Elasticsearch、Logstash、Kibana)等

Hadoop平台优化点

Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍

Hadoop核心组件的运维和配置

HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践

Yarn实战

Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置

NoSQL和Hbase使用

NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析
实战:
MapReduce操作Hbase实战
Hbase的API实战
Hbase表结构设计实战
银行信用卡刷卡记录的查询

Spark Streaming原理和实践

Spark Streaming原理
1.Spark流式处理架构
2.DStream的特点
3.Dstream的操作和RDD的区别
4.SatefulRDD和windowRDD实战
5.Kafka+Spark Steaming实战
6.Spark Streaming的优化
Kafka+Spark Streaming实例
-文本实例
网络数据处理

Spark SQL原理和实践

Spark SQL原理
1.Spark SQL的Catalyst优化器
2.Spark SQL内核
3.Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
-Spark SQL的实例操作demo
Spark SQL的编程

Spark优化

Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制

互联网大数据案例分享

金融大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例
SAP的HANA实时计算平台案例分析

大数据在国内的运用

大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍

大数据的整体技术架构

开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin
实时查询框架介绍
—NoSQL、Hbase
实时计算框架介绍
—Kafka、Strom、Spark Streaming
内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR
前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等
海量日志快速检索架构
—ELK(Elasticsearch、Logstash、Kibana)等

Hadoop平台优化点

Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍

Hadoop核心组件的运维和配置

HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践

Yarn实战

Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置

NoSQL和Hbase使用

NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析
实战:
MapReduce操作Hbase实战
Hbase的API实战
Hbase表结构设计实战
银行信用卡刷卡记录的查询

Spark Streaming原理和实践

Spark Streaming原理
1.Spark流式处理架构
2.DStream的特点
3.Dstream的操作和RDD的区别
4.SatefulRDD和windowRDD实战
5.Kafka+Spark Steaming实战
6.Spark Streaming的优化
Kafka+Spark Streaming实例
-文本实例
网络数据处理

Spark SQL原理和实践

Spark SQL原理
1.Spark SQL的Catalyst优化器
2.Spark SQL内核
3.Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
-Spark SQL的实例操作demo
Spark SQL的编程

Spark优化

Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制

互联网大数据案例分享

金融大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例
SAP的HANA实时计算平台案例分析

+加载更多
Donec quam felis

Thousand unknown plants are noticed by me: when I hear the buzz of the little world among the stalks, and grow familiar with the countless indescribable forms of the insects and flies, then I feel the presence of the Almighty, who formed us in his own image, and the breath

I am alone, and feel the charm of existence in this spot, which was created for the bliss of souls like mine. I am so happy, my dear friend, so absorbed in the exquisite sense of mere tranquil existence, that I neglect my talents. I should be incapable of drawing a single stroke at the present moment; and yet.

+加载更多

近期公开课推荐

25
八月
北京
产品经理系列——产品竞争分析及策略(v2.4)

做产品遵循的不是规则论,不是仅仅“关注用…

25
八月
四川
新课-Hadoop、spark和NoSQL大数据实战

当下是大数据时代,为构建大数据平台,技术…

25
八月
北京
自动化测试及持续集成最佳实践

本课程内容提炼自讲师多年来的一线自动化测…

25
八月
上海
高级性能测试与性能分析

本课程解析了性能测试理论知识,分析性能测…

01
九月
广东
研发骨干进阶架构师的15项修炼

架构仅仅是一个系统的草图吗? 绝对不是。 …

08
九月
上海
互联网全栈产品运营体系解析

课程内容均来自讲师的真实工作成果,讲授的…

课程反馈

当前课程还没有反馈信息

用户还看了其他课程

量化敏捷开发 沙盘实战

量化敏捷开发 沙盘实战

4698人看过
0人评价
Lean IT Foundation

Lean IT Foundation

51685人看过
0人评价

欢迎来到msup!

还不是msup会员?快来注册吧!

立即注册

服务热线

400-812-8020

market@msup.com.cn

官方微信公众号

微信公众号:msupclub

Copyright © 2017 msup

京ICP备09001521号