- 如何建立一个环境来开发Flink程序
- 如何实现流数据处理管道
- Flink管理状态
- 如何使用事件时间一致计算准确的分析
- 如何在连续流上构建事件驱动的应用程序
- Flink如何能够提供容错的、有状态的流处理和精确的一次语义
- 各种operator实现 一 项目概览
出租车数据集包含纽约市出租车的信息:每一次骑行都由两个事件表示:旅程开始事件和旅程结束事件;出租车车费数据的相关数据集,实现以下算法:
1、清洗掉开始或者结束经纬度都不在纽约市区域内的行程记录日志
2、计算出租车上/下客人热点区域
3、Event Time 和 Watermarks、窗口(Windows)等操作
4、事件驱动应用,KeyedProcessFunction的实现
5、基于State的计算,将每次乘车的 TaxiRide 和 TaxiFare 记录进行 join 操作
6、Checkpoints 和 Savepoints
7、广播状态运用 等等...