课程简介

快手最初采用了开源Airflow作为分布式任务调度系统，但随着业务的迅速发展，面临调度延迟、故障率、扩展性等方面的重大挑战，亟需数据中台自研下一代工作流调度引擎，为此快手数据中台团队从0到1构建了分布式任务调度引擎，并推广到所有业务线，尤其是其引入的任务分级调度和恢复的能力，在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。

目标收益

1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用

培训对象

课程内容

案例方向

---

数据商业化/大数据架构/NLP/人工智能产品落地

案例背景

---

快手最初采用了开源Airflow作为分布式任务调度系统，但随着业务的迅速发展，面临调度延迟、故障率、扩展性等方面的重大挑战，亟需数据中台自研下一代工作流调度引擎，为此快手数据中台团队从0到1构建了分布式任务调度引擎，并推广到所有业务线，尤其是其引入的任务分级调度和恢复的能力，在春晚红包活动的离线数据链路稳定性保障中发挥了巨大作用。

收益

---

1. 数据中台下任务调度系统的设计与实现
2. 任务调度系统的广泛应用
3. 任务调度系统在数据中台中的作用
4. 应用于

解决思路

---

1. 百万级任务并发调度
2. 高扩展低延迟
3. 事件驱动
4. 微服务等

结果

---

1. 系统扩展性提高
2. 调度延迟指标极大提升
3. 接入效率提高
4. 机器成本降低
5. 应用于春晚红包活动的数据链路保障中，作用巨大