课程简介
本次课程围绕着实时计算和湖仓一体的内容进行展开。主要涉及Flink(重点是Flink SQL)、流式数据湖Paimon的核心原理及使用,实时OLAP引擎Doris的使用、以及湖仓一体架构的核心技术选型和整体架构设计。在讲解湖仓一体架构之前会系统分析数据仓库的发展历程和架构演进过程,包括离线数据仓库架构、实时数据仓库之Lambda架构、实时数据仓库之Kappa架构(批流一体化)、最后到湖仓一体架构。
通过对湖仓一体架构系统的梳理,以及其中核心技术组件的讲解,帮助学员快速掌握湖仓一体架构的应用。
目标收益
掌握Flink SQL的核心原理及使用
掌握流式数据湖技术组件Paimon的原理及使用
掌握实时OLAP引擎Doris的原理及使用
掌握数据仓库架构的发展历史
掌握数据仓库(离线+实时)的架构设计
掌握湖仓一体架构的设计和实现
培训对象
大数据岗位开发人员
数据分析岗位人员
课程大纲
第一天 (上午) 湖仓一体架构的由来 |
1 数据仓库的起源 2 数据仓库的发展历程 3 离线数据仓库架构设计 4 实时数据仓库架构设计(Lambda和Kappa) 5 湖仓一体架构整体设计 6如何选择数据仓库建模方式和建模模型 7湖仓分层设计及命名规范 8湖仓数据清洗规则及注意事项 |
第一天 (下午) Flink SQL的核心原理及使用 |
1 Flink的核心原理及架构分析 3 Flink SQL快速理解(离线计算+实时计算) 4 Flink SQL解析引擎之Calcite分析 5 Flink SQL典型案例实战 6 Flink SQL中的静态表和动态表 7 Flink SQL常见的数据类型 8 Flink SQL中的常规列和元数据列 9 Flink SQL滚动窗口和滑动窗口的使用 10 Flink SQL中Catalog的原理及使用 |
第二天 (上午) Paimon原理、架构及使用 |
1 Paimon核心原理及架构 2 基于Flink SQL操作Paimon 3 Paimon中的表类型详解 4 Paimon中的主键表和仅追加表 5 Changelog Producers原理及案例实战 6 Merge Engines原理及案例实战 7 Paimon中的Catalog和Table详解 8 Paimon之CDC数据摄取 9 Paimon集成Hive引擎(Hive Metastore Catalog) 10 Paimon底层存储文件深入剖析 |
第二天(下午) Doris原理、架构及使用 |
1 Doris的前世今生 2 Doris原理及架构分析 3 Doris中的数据类型 4 Doris中数据库和表的操作 5 Doris中外部表的定义和使用 6 Doris数据模型详解 7 Doris的数据导入功能 8 Flink Doris Connect的使用 |
湖仓一体架构的构建 | 案例分析:实时数据仓库(湖仓一体)技术选项及架构设计 |
第一天 (上午) 湖仓一体架构的由来 1 数据仓库的起源 2 数据仓库的发展历程 3 离线数据仓库架构设计 4 实时数据仓库架构设计(Lambda和Kappa) 5 湖仓一体架构整体设计 6如何选择数据仓库建模方式和建模模型 7湖仓分层设计及命名规范 8湖仓数据清洗规则及注意事项 |
第一天 (下午) Flink SQL的核心原理及使用 1 Flink的核心原理及架构分析 3 Flink SQL快速理解(离线计算+实时计算) 4 Flink SQL解析引擎之Calcite分析 5 Flink SQL典型案例实战 6 Flink SQL中的静态表和动态表 7 Flink SQL常见的数据类型 8 Flink SQL中的常规列和元数据列 9 Flink SQL滚动窗口和滑动窗口的使用 10 Flink SQL中Catalog的原理及使用 |
第二天 (上午) Paimon原理、架构及使用 1 Paimon核心原理及架构 2 基于Flink SQL操作Paimon 3 Paimon中的表类型详解 4 Paimon中的主键表和仅追加表 5 Changelog Producers原理及案例实战 6 Merge Engines原理及案例实战 7 Paimon中的Catalog和Table详解 8 Paimon之CDC数据摄取 9 Paimon集成Hive引擎(Hive Metastore Catalog) 10 Paimon底层存储文件深入剖析 |
第二天(下午) Doris原理、架构及使用 1 Doris的前世今生 2 Doris原理及架构分析 3 Doris中的数据类型 4 Doris中数据库和表的操作 5 Doris中外部表的定义和使用 6 Doris数据模型详解 7 Doris的数据导入功能 8 Flink Doris Connect的使用 |
湖仓一体架构的构建 案例分析:实时数据仓库(湖仓一体)技术选项及架构设计 |