4月报 | SeaTunnel支持TDengine的多表Sink功能
各位热爱 Apache SeaTunnel 的小搭档们,本年 4 月份月报更新啦!这里将记录 SeaTunnel 社区每月的紧张更新,接待关注!在本月的浩繁更新中,最令人关注的一项新特性是——TDengine 多表 Sink 功能的支持(由 @jia17 提交)。这一功能的引入,标志着 SeaTunnel 在面向时序数据库的数据写入本领上迈出了关键一步。
在工业物联网、智慧能源、智能制造等场景中,传感器数据往往分布在多个逻辑表中,原有的单表 Sink 显然难以满意复杂的数据落盘需求。此次更新实现了 TDengine 多表动态写入本领,用户可以机动地根据业务逻辑将数据路由到差别的目标表中,极大提升了数据写入的机动性与效率。
更紧张的是,整个功能的计划分身了 Schema 解析、字段匹配和异常处置惩罚等细节,具有较强的工程实用性,未来也有望扩展到更多支持多表写入场景的毗连器中。
SeaTunnel 正在不断强化与主流数据系统的融合本领,这项更新正是一次面向实际业务需求的有力回应。
月度Merge之星
感谢以下小搭档上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):
https://i-blog.csdnimg.cn/img_convert/4e6576c35656e384db35fc1f9b7a6970.png
@hawk9821,@eyys,@liunaijie,@corgy-w,@CosmosNi,@FrommyMind,@maozhen520,@Hisoka-X,@litiliu,@JeremyXin,@Alberne,@rbowen,@mrtisttt,@RongHaa,@misi1987107,@kehan-zhou,@ocean-zhc,@qifanlili,@jia17,@xxsc0529,@hailin0
apache/seatunnel堆栈
修复
[*]修复Transform检查 @hailin0
[*]在测试用例中开释文件资源 @CosmosNi
[*]修复 seatunnel.yaml 中无效的遥测日记设置 @mrtisttt
[*]修复检查点线程池过早关闭导致使命状态异常的题目 @Hisoka-X
[*]修复设置解析中带有 \"\" 的错误 @Hisoka-X
[*]修复 Kafka 枚举器分配拆分时的空指针异常 NPE @hailin0
[*]删除_test和_sink前的空格 @kehan-zhou
[*]修复Kafka数据库名称 @corgy-w
[*]在HdfsStorage中不使用volatile关键字修复双重检查锁定题目 @maozhen520
[*]防止 JSON 输出中的十进制数字接纳科学计数法 @misi1987107
[*]升级操作作业运行主机版本 @Hisoka-X
[*]调解explode函数的形貌 @CosmosNi
[*]修复TDengine sink中当列或标签包含null值时出现的NullPointerException @jia17
[*]修复 parquet int32 转换错误 @JeremyXin
[*]修复了 StarRocks 毗连器中缺少的时间戳精度题目 @corgy-w
[*]调解调用枚举器打开方法的时机 @Hisoka-X
[*]修复MaxCompute多平行写入题目 @Hisoka-X
[*]OceanBase 支持简单的向量索引。 @xxsc0529
[*]修复未调用 SinkAggregatedCommitter 的初始化方法的题目 @Hisoka-X
[*]修复添加列事件 @hailin0
[*]修复 CSV 格式分隔符 @hailin0
[*]修复 Postgres CDC 使用 debezium_json 格式时无法解析没有小数位的数字的题目。 @FrommyMind
[*]修复 DateUtils 无法解析带有本地时区的日期时间字符串的题目。 @Hisoka-X
[*]修复SqlServer中数据库名称含点号时创建表的题目 @Hisoka-X
[*]Long 类型无法处置惩罚科学计数法表现的字符串值 @qifanlili
优化
[*]Qdrant选项 @liunaijie
[*]为DataHub使某些sink参数成为可选的 @jia17
[*]修复架构更改事件 @CosmosNi
[*]支持TDengine的多表sink功能 @jia17
[*]Datahub 支持多表 Sink(写入多个表) @jia17
[*] support chinese 优化中文文档支持 @jia17
[*] support chinese 优化中文文档支持 @jia17
[*]添加日记以打印每个使命的执行位置 @CosmosNi
[*]添加表格过滤转换 @hailin0
[*]修复md文档格式 @CosmosNi
[*]为Web UI支持基本身份验证 @CosmosNi
[*]派蒙选项 @liunaijie
[*]OpenMLDB 选项 @liunaijie
[*]Milvus选项 @liunaijie
[*]Neo4j 选项 @liunaijie
[*]MaxCompute选项 @liunaijie
[*]Kudu选项 @liunaijie
[*]统一标题格式,并修复一些格式异常的文档。 @Hisoka-X
[*]Elasticsearch 源支持 PIT(Point in Time) @CosmosNi
[*]在使命运行管理页面上格式化异常消息 @ocean-zhc
[*]调解trim系列SQL函数的形貌 @Hisoka-X
[*]支持基于游标的分页 #9109 @Alberne
[*]为 SQL 转换支持布尔类型 @hawk9821
[*]添加检查脚本来检测源/目标状态类中缺少 serialVersionUID。 @CosmosNi
[*]支持定义 sink 列的类型 @hailin0
[*]改进的德瑞斯泉源枚举器为子使命分配算法的分割算法 @JeremyXin
[*]改进正在运行的使命和已完成使命的排序 @ocean-zhc
[*]更新元数据转换设置继承 @hailin0
[*]支持恢复执行保存模式 @hailin0
[*]更新文件毗连器设置 @misi1987107
[*]更新Kafka文档中的Kerberos部门 @Hisoka-X
[*]支持try_cast表达式 @corgy-w
[*]支持 GraphQL 毗连器 #8557 @eyys
[*]优化JDBC中的方言选择 @corgy-w
其他
[*]添加Jira毗连器中文文档 @RongHaa
[*]在冰山泉源中支持过滤条件 @litiliu
[*]将 actions/cache@v2 升级到 actions/cache@v4 @hailin0
apache/seatunnel-website堆栈
修复
[*]修复毗连器的链接 @rbowen
优化
[*]添加名为 Chao Wang 的提交者 @corgy-w
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]