IT评测·应用市场-qidao123.com

标题: apache paimon在flink中做维表join的优势 [打印本页]

---

作者: 泉缘泉    时间: 2024-6-10 07:01
标题: apache paimon在flink中做维表join的优势
优势

通例joiin,查维表(hbase),本地内存缓存,时效性不高,且容易缓存穿透,给hbase很大压力
你是不是想过是不是可以用flinkcdc或者binlog的kafka 作为维度表来join,又发现动态表不让作为维度表.
paimon来了,他是类似delta lake,hudi,iceberg的数据湖格式,但是又像整合了hbase部分本领,天经地义,他查询快,而且支持生成changelog,以是paimon得flink connector做了维表join的支持,实现方式和通例方法不一样,他是缓存在rocksdb.且支持两种模式: 全量存和部分存.

概述

下载源码自己看下 有些错的请帮助提示我

1. # 核心参数
2.     - lookup.cache
3.         - AUTO  //默认值
4.             - Auto mode, try to use partial mode. //部分更新模式.
5.         - FULL  
6.             - Use full caching mode //rocksdb存全量,可规避常规look up join的缓存穿透
8. # 维表join 入口分类逻辑 PrimaryKeyPartialLookupTable|PrimaryKeyLookupTable 的 open
9. - org.apache.paimon.flink.lookup.FileStoreLookupFunction#open()
10.    - (没配置 lookup.cache ,或者配置为 'AUTO') 且 关联键就是主键:
11.      - 该表如果开了query service,则使用 query service(PrimaryKeyPartialLookupTable.createRemoteTable),否则使用 PrimaryKeyPartialLookupTable.createLocalTable.
12.        - 得到: lookupTable对象
13.          - 会调用 PrimaryKeyPartialLookupTable.open.refre

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4