flink-综合练习

打印 上一主题 下一主题

主题 634|帖子 634|积分 1902

案例需求:
  1. 假设用户需要每个1秒钟需要统计4秒钟 窗口中数据的量,然后对统计的结果值进行checkpoint处理
复制代码
数据规划
  1. 使用自定义算子每秒钟产生大约10000条数据
  2. 产生的数据为一个四元组(Long,String,String,Interger)-- (id,name,info,count)
  3. 数据经统计后,统计结果打印到终端输出
  4. 打印输出的结果为Long类型的数据
复制代码
开发自定义数据源:

代码实现:


[code]// ** 开发自定义数据源// 1、自定义样例类case class Msg(id:Long, name:String,info:String,cout:Int)// 2、自定义数据源,继承RichSourceFunctionclass MySourceFunction extends RichSourceFunction[Msg]{  var isRunning = true  // 3、实现run方法,每秒向流中注入10000个样例类  override def run(ctx: SourceFunction.SourceContext[Msg]): Unit = {    while (isRunning){      for(i

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

徐锦洪

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表