课程简介
Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台，每天需要处理超过40万亿的消息，在保证低延迟和高吞吐的情况下，还需要在故障情况下仍能保证数据端到端的exactly-once，提供高可靠的一致性语义。
目标收益
1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化
培训对象
课程内容
案例方向
数据商业化/大数据架构/NLP/人工智能产品落地
案例背景
Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台，每天需要处理超过40万亿的消息，在保证低延迟和高吞吐的情况下，还需要在故障情况下仍能保证数据端到端的exactly-once，提供高可靠的一致性语义。
收益
1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化
解决思路
我们通过Flink的checkpoint机制，并配合Iceberg，对我们的ETL链路进行了可靠性和性能改造。
结果
我们的项目成功上线测试，并提供了出色的性能和可靠性保障。
近期公开课推荐
