架构师
互联网
电商
支付平台
传统金融
互联网金融
可穿戴设备
医疗
智能家居
物联网
车联网
安全
制造
电信
政府机构
税务
快消品
其他
大数据
推荐课程
average > 0 ? $model->average . '分' : '10.0分' ?>

大数据平台数据湖和数据治理

刘老师

某知名咨询公司 云平台系统架构师

毕业于⼤连理⼯⼤学
简介:
精通开源的⼤数据⽣态技术和架构,Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。
有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数
据中台项⽬架构实施经验,
⽬前任职国内知名咨询公司,先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术
栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施
最近主要项⽬介绍:
某移动⼤数据平台架构设计和设施 (Hadoop、Spark)
四⼤⾏之⼀的数据湖咨询和实施
某⼤型商业银⾏数据中台咨询
某银⾏基于开源⼤数据技术栈数据中台的咨询和实施
某航空公司数据平台流批⼀体解决⽅案和实施
特长:
在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据
中台等⽅⾯有丰富经 验。

毕业于⼤连理⼯⼤学 简介: 精通开源的⼤数据⽣态技术和架构,Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。 有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数 据中台项⽬架构实施经验, ⽬前任职国内知名咨询公司,先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术 栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施 最近主要项⽬介绍: 某移动⼤数据平台架构设计和设施 (Hadoop、Spark) 四⼤⾏之⼀的数据湖咨询和实施 某⼤型商业银⾏数据中台咨询 某银⾏基于开源⼤数据技术栈数据中台的咨询和实施 某航空公司数据平台流批⼀体解决⽅案和实施 特长: 在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据 中台等⽅⾯有丰富经 验。

课程费用

6800.00 /人

课程时长

2

成为教练

课程简介

大数据平台数据湖和数据治理

目标收益

通过此次课程培训,可使学习者获得如下收益:

1. 了解数据治理的体系架构
2. 理解数据架构设计与数据治理的基本知识;
2. 掌握数据建模方法,范式建模和维度建模
3. 理解数据标准化、数据质量和元数据等如何建设,和建设中注意的问题
4. 数据治理落地的难点和经验分享
5. XXX银行数据治理真实案例深度分享

培训对象

1、数据开发工程师
2、业务人员
3、架构师
4、项目经理
5、对数据治理赶兴趣的同学

课程大纲

数据治理范围 大数据平台数据建设中存在的问题
数据治理面临的挑战
数据的多元化
数据的复杂性
数据的完整性
数据生命周期管理
统一元数据管理
数据集成方法
数据安全
数据湖架构
基于大数据平台的数据建模
RMDBS数据的增量实时同步采集
数据质量管理 数据质量管理的范围
数据质量评估的维度
数据质量的维护管理
数据质量的改进管理
数据质量管理模型
数据质量管理的监控
案例演示
元数据管理 元数据概念
Hadoop平台元数据处理面临的问题
元数据注册机制
元数据的统一管理
元数据一致性管理
数据字典的概念
元数据的添加和需改管理
基于Hadoop平台元数据处理方案
数据生命周期管理 数据质量
数据标准
数据生命周期管理的重要性
数据生命周期的概念
开源Falcon解决那些问题
Falcon架构和原理
Falcon实战
Falcon+HDFS、Hive实战
Falcon+Oozie实战
数据湖 数据湖定义
数据湖里面数据存储格式
数据湖实现的步骤
HDFS、Hive等实现数据湖
数据湖分区(LCRD)
LCRD详解
某大型银行基于Hadoop的数据湖实战解析
测试数据环境的搭建 测试数据的准备
测试数据的脱敏机制
数据脱敏的方法
数据关联的脱敏机制
测试环境搭建的要求
测试环境性能的评估原则
数据仓库的敏捷开发 敏捷开发的含义
敏捷数据仓库的定义
为什么需要敏捷数据仓库
敏捷数据仓库和传统数据仓库的区别
敏捷数据仓库实现的模型
在Hadoop上面实现敏捷数据仓库的思路
案例分析 Hadoop之上数据仓库案例解析
数据湖案例解析和演示
数据治理范围
大数据平台数据建设中存在的问题
数据治理面临的挑战
数据的多元化
数据的复杂性
数据的完整性
数据生命周期管理
统一元数据管理
数据集成方法
数据安全
数据湖架构
基于大数据平台的数据建模
RMDBS数据的增量实时同步采集
数据质量管理
数据质量管理的范围
数据质量评估的维度
数据质量的维护管理
数据质量的改进管理
数据质量管理模型
数据质量管理的监控
案例演示
元数据管理
元数据概念
Hadoop平台元数据处理面临的问题
元数据注册机制
元数据的统一管理
元数据一致性管理
数据字典的概念
元数据的添加和需改管理
基于Hadoop平台元数据处理方案
数据生命周期管理
数据质量
数据标准
数据生命周期管理的重要性
数据生命周期的概念
开源Falcon解决那些问题
Falcon架构和原理
Falcon实战
Falcon+HDFS、Hive实战
Falcon+Oozie实战
数据湖
数据湖定义
数据湖里面数据存储格式
数据湖实现的步骤
HDFS、Hive等实现数据湖
数据湖分区(LCRD)
LCRD详解
某大型银行基于Hadoop的数据湖实战解析
测试数据环境的搭建
测试数据的准备
测试数据的脱敏机制
数据脱敏的方法
数据关联的脱敏机制
测试环境搭建的要求
测试环境性能的评估原则
数据仓库的敏捷开发
敏捷开发的含义
敏捷数据仓库的定义
为什么需要敏捷数据仓库
敏捷数据仓库和传统数据仓库的区别
敏捷数据仓库实现的模型
在Hadoop上面实现敏捷数据仓库的思路
案例分析
Hadoop之上数据仓库案例解析
数据湖案例解析和演示

活动详情

提交需求