Skip to content

xueIove/flink-training-exercises

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

  • 如何建立一个环境来开发Flink程序
  • 如何实现流数据处理管道
  • Flink管理状态
  • 如何使用事件时间一致计算准确的分析
  • 如何在连续流上构建事件驱动的应用程序
  • Flink如何能够提供容错的、有状态的流处理和精确的一次语义
  • 各种operator实现 一 项目概览

出租车数据集包含纽约市出租车的信息:每一次骑行都由两个事件表示:旅程开始事件和旅程结束事件;出租车车费数据的相关数据集,实现以下算法:

1、清洗掉开始或者结束经纬度都不在纽约市区域内的行程记录日志

2、计算出租车上/下客人热点区域

3、Event Time 和 Watermarks、窗口(Windows)等操作

4、事件驱动应用,KeyedProcessFunction的实现

5、基于State的计算,将每次乘车的 TaxiRide 和 TaxiFare 记录进行 join 操作

6、Checkpoints 和 Savepoints

7、广播状态运用 等等...

About

- 如何建立一个环境来开发Flink程序 - 如何实现流数据处理管道 - Flink管理状态 - 如何使用事件时间一致计算准确的分析 - 如何在连续流上构建事件驱动的应用程序 - Flink如何能够提供容错的、有状态的流处理和精确的一次语义 - 各种operator实现 一 项目概览 出租车数据集包含纽约市出租车的信息:每一次骑行都由两个事件表示:旅程开始事件和旅程结束事件;出租车车费数据的相关数据集,实现以下算法: 1、清洗掉开始或者结束经纬度都不在纽约市区域内的行程记录日志 2、计算出租车上/下客人热点区域 3、Event Time 和 Watermarks、窗口(Windows)等操作 4、事件驱动应用,KeyedProcessFunction的实现 5、基于State的计算,将…

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages

  • Java 81.0%
  • Scala 18.6%
  • Shell 0.4%