Flink处理函数实战之一:深入了解ProcessFunction的状态(Flink-1 ...

打印 上一主题 下一主题

主题 1018|帖子 1018|积分 3054

Flink处理函数实战系列链接


  • 深入了解ProcessFunction的状态操纵(Flink-1.10);

  • ProcessFunction;

  • KeyedProcessFunction类;

  • ProcessAllWindowFunction(窗口处理);

  • CoProcessFunction(双流处理);
关于ProcessFunction状态的迷惑

学习Flink的ProcessFunction过程中,官方文档中涉及状态处理的时间,不止一次提到只适用于keyed stream的元素,如下图红框所示:

之前写过一些flink应用,keyed stream常用但不是必须用的,以是产生了疑问:

  • 为何只有keyed stream的元素能读写状态?

  • 每个key对应的状态是如何操纵的?
Flink的"状态"

先去回顾Flink"状态"的知识点:

  • 官方文档说就两种状态:keyed state和operator state:


  • 如上图,keyed stream的元素是具有key的特征,与ProcessFunction的操纵状态时要求匹配,其他steam的元素由于没有key的特征,以是也就没有状态一说了;

  • 另一种状态是Operator State,如下图,这是和多并行度盘算时的算子实例绑定的,比方当前算子斲丧kafka的某个分区的最新offset,而ProcessFuncti

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

干翻全岛蛙蛙

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表