• 搜素结果

 / 

Hadoop开发、运维和调优实战

Teradata
云平台系统架构师
2592
18921
11516
推荐课程
暂无评分
推荐课程
暂无评分
¥

6800.00

每人

课程时长

课程排期 ( 最后更新:2017/09/20)

当前剩余席位: 0 / 30 (位)

地点: 广东 深圳
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

课程详细[html版]

课程信息

课程内容:理解大数据和面临大数据带来的挑战,互联网网时代数据已经是公司的成败,对海量数的存储、计算、分析和挖掘等目前是很多互联网公司的核心,例如广告的推荐、商品推荐等,还可以挖掘数据来分析用户的潜在价值,面对数据快速的增长,存储和计算变得很重要,课程中我们使用hadoop来解决海量数据所带来的一些问题,Hadoop目前已经备受互联网的亲耐,hadoop已经成为海量数据处理必不可少的一个工具,也是最流行的一个海量数据存储和计算的框架,此外还有hive、Hbase、sqoop等框架的培训。

培训特色

课程内容:理解大数据和面临大数据带来的挑战,互联网网时代数据已经是公司的成败,对海量数的存储、计算、分析和挖掘等目前是很多互联网公司的核心,例如广告的推荐、商品推荐等,还可以挖掘数据来分析用户的潜在价值,面对数据快速的增长,存储和计算变得很重要,课程中我们使用hadoop来解决海量数据所带来的一些问题,Hadoop目前已经备受互联网的亲耐,hadoop已经成为海量数据处理必不可少的一个工具,也是最流行的一个海量数据存储和计算的框架,此外还有hive、Hbase、sqoop等框架的培训。

目标收益

Hadoop这门课程从理论到实战再到公司的项目,还有hadoop集群的搭建和性能的调优,再到HDFS性能的测试和MapReduce性能的测试再到网络的需求等全面的详解Hadoop的开发和维护,深刻理解MapReduce的原理,能过使用mapreduce进行高级编程,使用Hive进行数据分析,使用Hbase进行线上分析,关系型数据和HDFS、hive之间的相互迁移,理解Hadoop的使用场景,面对一个需求适不适合使用hadoop。

培训对象

大数据爱好者、程序员、数据分析师,项目经理和对已经使用hadoop,想提高的用户。

学员基础

学员学习本课程应具备下列基础知识:
1)了解Java或者python和shell语言;
2)了解Linux系统;

课程大纲

主题 内容

Hadoop的来源和动机

1.传统大规模系统存在的问题n2.Hadoop概述n3.Hadoop分布式文件系统 n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生态系统对一种新的解决方案的需求n7.Hadoop的行业应用案例分析n8.Hadoop在云计算和大数据的位置和关系

Hadoop集群规划

1.Hadoop 集群内存要求nØ Namenode的机器配置nØ Datanode的机器配置nØ SNN的机器配置n2.Hadoop集群磁盘分区n3.集群和网络拓扑要求n4.集群软件的端口配置

Hadoop简介和生态系统介绍

1.传统大规模数据分析存在的问题n2.Hadoop概述n3.Hadoop与分布式文件系统 n4.Hadoop生态系统n5.Hadoop的行业应用案例分析n6.Hadoop在云计算和大数据的位置和关系n7.Hadoop版本介绍n8.Hadoop与Google FS的关系n9.Hadoop在国内的使用情况和未来

Hadoop安装和主要配置文件介绍

1.Hadoop安装所需软件介绍n2.Hadoop单机安装n3.Hadoop伪分布式安装n4.Hadoop完全分布式安装n5.Hadoop三个节点安装的配置介绍n6.Hahoop多节点ssh配置n7.Hadoop格式化详解n8.Hadoop核心配置文件介绍n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置详解n13.slave文件配置详解n14.Hadoop启动和停止方法一n—start-all.sh详解n—stop-all.sh详解n15.Hadoop的启动和停止方法二n—hadoop-deamon.sh详解n16.Hadoop安装的常见错误介绍和解决方案n17.使用自带的wordcount和pi测试集群安装是否成功n18.使用Streaming来测试集群安装是否成功

Hadoop组件介绍

1.Hadoop NameNode 介绍n2.Hadoop SecondaryNameNode 介绍n3.Hadoop DataNode 介绍n4.Hadoop JobTracker 介绍n5.Hadoop TaskTracker 介绍

Hadoop的HDFS模块

1.HDFS架构介绍n2.HDFS原理介绍n3.NameNode功能详解n4.DataNode功能详解n5.SecondaryNameNode功能详解n6.HSFD的fsimage和editslog详解n7.HDFS的block详解n8.HDFS的block的备份策略n9.Hadoop的机架感知配置n10.HDFS的shell命令介绍n11.HDFS的thrift server服务介绍n12.HDFS的API接口介绍n13.HDFS的权限详解n14.Hadoop的客服端接入案例

MapReducer入门和高级开发实战

1.Mapreduce原理n2.MapReduce流程n3.剖析一个MapReduce程序n4.Mapper和Reducer抽象类详解n5.Mapreduce的最小驱动类n6.MapReduce自带的类型n7.自定义Writables和WritableComparablesn8.Mapreduce的输入InputFormatsn9.MapReduce的输出OutputFormatsn10.自定义InputFormatn11.自定义InputSPlitsn12.自定义RecorderReadern13.Combiner详解n14.Partitioner详解n15.DistributeFileSystem详解n16.Hadoop Tools工具介绍n17.Counter计数器详解n18.自定义Counter计数器n19.基于Hadoop二次开发实战n20.MapReduce的优化n21.Map和Reduce的个数设置n22.Hadoop小文件优化n23.任务调度n24.默认的任务调度n25.公平任务调度n26.能力任务调度n27.使用 Hadoop MapReduce Streaming 编程n28.MapReduce的单元测试

Hive的使用和实战

1.Hive和Pig基础n2.Hive、Impala和presto的比较 n3.Hive的作用和原理说明n4.Hadoop仓库和传统数据仓库的协作关系n5.Hadoop/Hive仓库数据数据流n6.Hive 部署和安装n7.Hive Cli 的基本用法n8.Hive的server启动n9.HQL基本语法n10.Hive的加载数据本地加载和HDFS加载n11.Hive的partition详解n12.Hive的存储方式详解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform详解n16.Hive的JDBC连接

Hbase使用

1.Hbase原理n2.Hmaster详解n3.RegionServer详解n4.Zookeeper介绍n5. Hbase安装n6.Hbase逻辑视图介绍n7.Hbase物理视图介绍n8.Hbase的二级索引介绍n9.Hbase 的DDL和DMLn10.Hbase表的设计案例n11.Hbase的import功能介绍n12.MapReduce操作Hbasen13.Hbase的 thrift Server介绍n14.Hbase 的API介绍n15.Hbase案例分析

Hadoop安全和性能优化

1.Hadoop的可伸缩性应用n2.Hadoop的线性伸缩性n3. Hadoop的最佳实战n4.Map/Reduce性能测试n5.HDFS的性能测试n6.Hadoop企业级架构n7.Hadoop的安全实战n8.Hadoop的运维知识总结

Hadoop集群配置介绍和维护

1.Hadoop集群的部署要点n2.NameNode和SecondaryNameNode和JobTracker机器的配置要求n3.dataNode与tasktracker机器的配置要求n4.Hadoop集群管理的工具介绍n5.Ganglia和nigos监控Hadoop集群介绍n6.Ambri介绍n7.添加和删除节点演示n8.Namenode的单点解决方案n9.NameNode的NFS备份介绍n10.集群所有dataNode挂掉的故障介绍n11.集群NameNode的fsimage丢掉恢复方法n12.Hadoop集群维护的注意点

Sqoop介绍

1.Sqoop是什么n2.Sqoop安装n3.Sqoop把mysql数据导入HDFSn4.Sqoop把HDFS数据导入Mysqln5.Sqoop吧Mysql数据导入Hiven6.Sqoop吧Mysql数据导入Hive分区

Hadoop的来源和动机

1.传统大规模系统存在的问题n2.Hadoop概述n3.Hadoop分布式文件系统 n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生态系统对一种新的解决方案的需求n7.Hadoop的行业应用案例分析n8.Hadoop在云计算和大数据的位置和关系

Hadoop集群规划

1.Hadoop 集群内存要求nØ Namenode的机器配置nØ Datanode的机器配置nØ SNN的机器配置n2.Hadoop集群磁盘分区n3.集群和网络拓扑要求n4.集群软件的端口配置

Hadoop简介和生态系统介绍

1.传统大规模数据分析存在的问题n2.Hadoop概述n3.Hadoop与分布式文件系统 n4.Hadoop生态系统n5.Hadoop的行业应用案例分析n6.Hadoop在云计算和大数据的位置和关系n7.Hadoop版本介绍n8.Hadoop与Google FS的关系n9.Hadoop在国内的使用情况和未来

Hadoop安装和主要配置文件介绍

1.Hadoop安装所需软件介绍n2.Hadoop单机安装n3.Hadoop伪分布式安装n4.Hadoop完全分布式安装n5.Hadoop三个节点安装的配置介绍n6.Hahoop多节点ssh配置n7.Hadoop格式化详解n8.Hadoop核心配置文件介绍n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置详解n13.slave文件配置详解n14.Hadoop启动和停止方法一n—start-all.sh详解n—stop-all.sh详解n15.Hadoop的启动和停止方法二n—hadoop-deamon.sh详解n16.Hadoop安装的常见错误介绍和解决方案n17.使用自带的wordcount和pi测试集群安装是否成功n18.使用Streaming来测试集群安装是否成功

Hadoop组件介绍

1.Hadoop NameNode 介绍n2.Hadoop SecondaryNameNode 介绍n3.Hadoop DataNode 介绍n4.Hadoop JobTracker 介绍n5.Hadoop TaskTracker 介绍

Hadoop的HDFS模块

1.HDFS架构介绍n2.HDFS原理介绍n3.NameNode功能详解n4.DataNode功能详解n5.SecondaryNameNode功能详解n6.HSFD的fsimage和editslog详解n7.HDFS的block详解n8.HDFS的block的备份策略n9.Hadoop的机架感知配置n10.HDFS的shell命令介绍n11.HDFS的thrift server服务介绍n12.HDFS的API接口介绍n13.HDFS的权限详解n14.Hadoop的客服端接入案例

MapReducer入门和高级开发实战

1.Mapreduce原理n2.MapReduce流程n3.剖析一个MapReduce程序n4.Mapper和Reducer抽象类详解n5.Mapreduce的最小驱动类n6.MapReduce自带的类型n7.自定义Writables和WritableComparablesn8.Mapreduce的输入InputFormatsn9.MapReduce的输出OutputFormatsn10.自定义InputFormatn11.自定义InputSPlitsn12.自定义RecorderReadern13.Combiner详解n14.Partitioner详解n15.DistributeFileSystem详解n16.Hadoop Tools工具介绍n17.Counter计数器详解n18.自定义Counter计数器n19.基于Hadoop二次开发实战n20.MapReduce的优化n21.Map和Reduce的个数设置n22.Hadoop小文件优化n23.任务调度n24.默认的任务调度n25.公平任务调度n26.能力任务调度n27.使用 Hadoop MapReduce Streaming 编程n28.MapReduce的单元测试

Hive的使用和实战

1.Hive和Pig基础n2.Hive、Impala和presto的比较 n3.Hive的作用和原理说明n4.Hadoop仓库和传统数据仓库的协作关系n5.Hadoop/Hive仓库数据数据流n6.Hive 部署和安装n7.Hive Cli 的基本用法n8.Hive的server启动n9.HQL基本语法n10.Hive的加载数据本地加载和HDFS加载n11.Hive的partition详解n12.Hive的存储方式详解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform详解n16.Hive的JDBC连接

Hbase使用

1.Hbase原理n2.Hmaster详解n3.RegionServer详解n4.Zookeeper介绍n5. Hbase安装n6.Hbase逻辑视图介绍n7.Hbase物理视图介绍n8.Hbase的二级索引介绍n9.Hbase 的DDL和DMLn10.Hbase表的设计案例n11.Hbase的import功能介绍n12.MapReduce操作Hbasen13.Hbase的 thrift Server介绍n14.Hbase 的API介绍n15.Hbase案例分析

Hadoop安全和性能优化

1.Hadoop的可伸缩性应用n2.Hadoop的线性伸缩性n3. Hadoop的最佳实战n4.Map/Reduce性能测试n5.HDFS的性能测试n6.Hadoop企业级架构n7.Hadoop的安全实战n8.Hadoop的运维知识总结

Hadoop集群配置介绍和维护

1.Hadoop集群的部署要点n2.NameNode和SecondaryNameNode和JobTracker机器的配置要求n3.dataNode与tasktracker机器的配置要求n4.Hadoop集群管理的工具介绍n5.Ganglia和nigos监控Hadoop集群介绍n6.Ambri介绍n7.添加和删除节点演示n8.Namenode的单点解决方案n9.NameNode的NFS备份介绍n10.集群所有dataNode挂掉的故障介绍n11.集群NameNode的fsimage丢掉恢复方法n12.Hadoop集群维护的注意点

Sqoop介绍

1.Sqoop是什么n2.Sqoop安装n3.Sqoop把mysql数据导入HDFSn4.Sqoop把HDFS数据导入Mysqln5.Sqoop吧Mysql数据导入Hiven6.Sqoop吧Mysql数据导入Hive分区

+加载更多
Donec quam felis

Thousand unknown plants are noticed by me: when I hear the buzz of the little world among the stalks, and grow familiar with the countless indescribable forms of the insects and flies, then I feel the presence of the Almighty, who formed us in his own image, and the breath

I am alone, and feel the charm of existence in this spot, which was created for the bliss of souls like mine. I am so happy, my dear friend, so absorbed in the exquisite sense of mere tranquil existence, that I neglect my talents. I should be incapable of drawing a single stroke at the present moment; and yet.

+加载更多

近期公开课推荐

16
十二月
北京
高级性能测试与性能分析

本课程解析了性能测试理论知识,分析性能测…

16
十二月
北京
微服务架构设计与实践

随着移动互联时代的到来,数据量急剧增加,…

16
十二月
北京
卓越软件设计匠艺

1、全真案例,借助案例与设计模式知识的原理…

23
十二月
上海
大型互联网公司网站架构背后的基础技术

深入理解互联网行业整体技术体系,架构方案…

23
十二月
广东
Hadoop开发、运维和调优实战

课程内容:理解大数据和面临大数据带来的挑…

23
十二月
上海
自动化运维

以介绍方向为主、学习互联网思想、从案例中…

课程反馈

当前课程还没有反馈信息

用户还看了其他课程

高阶产品管理者晋阶之路

高阶产品管理者晋阶之路

970人看过
0人评价
持续交付理论基础、原则与实践(2天)

持续交付理论基础、原则与实践(2天)

34121人看过
0人评价

欢迎来到msup!

还不是msup会员?快来注册吧!

立即注册

服务热线

400-812-8020

market@msup.com.cn

官方微信公众号

微信公众号:msupclub

Copyright © 2017 msup

京ICP备09001521号