基于Flink的实时复杂事件处理设计与优化

背景介绍： 互联网背景下，效率是一个永恒的主题。闲鱼作为阿里巴巴旗下全球最大的闲置交易社区，致力于为用户提供的一个高效可靠的闲置交易平台，用户的每一秒都非常宝贵。为提升用户使用效率，同时最大化用户的价值，在不同的使用场景下，能够给予用户实时的引导策略显得特别重要。 面对闲鱼日益庞大的流量和复杂多变的场景，如何快速的识别用户使用场景和行为模式，从而给予及时的引导成为我们必须要解决的问题。 解决思路/成功要点： 问题抽象成如何描述用户的使用场景和行为，然后实时的匹配用户行为特征，最后执行响应策略。 基于这种抽象我们构建了事件驱动的系统架构：用户使用场景和行为统一抽象成Event，通过高效的数据管道采集后流入Flink做实时复杂事件的匹配，匹配结果以消息的方式输出，通知响应模块做相应的Action。 为了提升开发效率，我们定义一种简洁的DSL语言来描述复杂事件的计算，并在Flink上实现，做了大量针对性的计算优化。 同时为了减少延迟和云端负载，对于一些简单场景，我们在端上直接计算给出响应，因此在端上也实现一套实时复杂计算处理的框架，以支持DSL在端侧计算。 要点： 1、 用户的使用场景和行为统一抽象成事件（Event）。 2、 采用高效的管道配置化的方式采集用户的不同行为。 3、 定义可扩展的用户行为数据结构，统一数据采集与清洗过程。 4、 定义一种简洁的DSL语言，表达复杂多变的计算规则。 5、 构建可视化的管理界面。支持编写DSL、在线调试、任务管理、运行监控、结果分析。 6、 基于Flink构建实时复杂事件处理系统，支持DSL的编译运行。 7、 针对性的优化Flink的计算性能。 8、 构建轻量级的端实时计算框架，支持DSL运行，简单场景在端上直接完成计算，最大限度的减少延迟和云端负载。 成果： 构建了基于事件驱动架构的系统，满足类似事件->模式识别->响应场景下的业务需求，高效的支撑了业务迭代上线，在合适时机引导用户的行为更好的满足了用户的需求，同时提升了用户的参与度。是支撑闲鱼增长的重要引擎。 业务活动开发周期从2-3天降低到2-3小时完成，并且有可靠的运行过程管理和实时可视化结果分析。端到云到端的整体计算延迟控制在2s内，解决了过去难以实现的大规模复杂事件匹配问题。端侧本地计算毫秒级响应。在闲鱼内部支持了大量业务场景，目前开始在阿里集团内其他BU推广落地。