IT评测·应用市场-qidao123.com技术社区

标题: 7-8月月报 | Apache SeaTunnel社区进展一览 [打印本页]

---

作者: 科技颠覆者    时间: 2024-9-3 20:24
标题: 7-8月月报 | Apache SeaTunnel社区进展一览
各位热爱 Apache SeaTunnel 的小伙伴们，社区 7-8 月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。
Merge Stars

感谢以下小伙伴上两个月为 Apache SeaTunnel 项目和社区发展所做的出色贡献（排名不分先后）：

@Hisoka-X,@xxsc0529,@arshadmohammad,@TyrantLucifer,@ZhangWeike2000,@loustler,@Carl-Zhou-CN,@wuchunfu,@Gxinge,@cl0924,@alextinng,@chl-wxp,@chenqianwen,@jackyyyyyssss,@yujian225,@virvle,@kevinjmh,@corgy-w,@baicie,@liunaijie,@hawk9821,@Anush008,@zhilinli123,@OswinWu,@zhangm365,@ISADBA,@luzongzhu,@tcodehuber,@liugddx,@litiliu,@dependabot[bot],@Thomas-HuWei,@Xuzhengz,@Wudadada,@MRYOG,@latch890727,@jw-itq,@BruceWong96,@panpan2019,@XIAOKUOAIyang,@cloud456,@hailin0,@Vonng,@zhangshenghang,@whhe,@dailai,@zqr10159,@SachinS10-lab,@EricJoy2048,@XenosK,@Asura7969,@zhouhoo,@chaos-cn,@FlechazoW,@asapekia,@BilwaST,@bingquanzhao,@FuYouJ
apache/seatunnel堆栈

修复

• [Fix][E2E]将gbase驱动程序版本更改为办理证书逾期问题 @hawk9821
  
• [Hotfix][Connector-V2]修复了Paimon目的中decimal数据范例的小数精度问题 @dailai
  
• [Fix][doc]修复失效链接 @corgy-w
  
• [Hotfix][Connector-V2]修复ES中未插入null的问题 @corgy-w
  
• [Fix][Core]修复当配置值为null时出现的NPE @hawk9821
  
• [Fix][Connector-V2]修复jdbc查询sql无法获取表路径 @corgy-w
  
• [Fix][Zeta]在多节点环境下，资源隔离的修复未起作用。 @chenqianwen
  
• [Hotfix][Metrics]修复间歇性的多指标持续集成 @corgy-w
  
• [Fixbug]Doris自定义SQL工作 @zhangshenghang
  
• [Fix]修复seatunnel毗连器列表URL中的死链 @Hisoka-X
  
• [FIX][E2E]将OceanBase测试用例更新到最新的imageChange image @xxsc0529
  
• [Fix][Seatunnel-core]修复Windows实行脚本中的语法错误 @cl0924
  
• [Hotfix][MySQL-CDC]修正包名拼写错误 @ISADBA
  
• [ Revert "[Fix][Connector-V2]修复 Doris 主键次序和字段次序不一致的问题("#7377") ]( https://github.com/apache/seatunnel/pull/7402 " Revert "[Fix][Connector-V2]修复 Doris 主键次序和字段次序不一致的问题("#7377") ") @Hisoka-X
  
• [Hotfix][MySQL-CDC]修复MySQL二进制日志读取时的ArrayIndexOutOfBoundsException @hailin0
  
• [Bugfix][Doris-connector]修复Json序列化问题，空值导致数据错误。 @liugddx
  
• [Fix][Connector-V2]修复 Doris 主键次序和字段次序不一致的问题 @Hisoka-X
  
• [Hotfix][Connector]修复JDBC编译错误 @hailin0
  
• [Fix][Zeta]修复任务无法结束，缘故原由大概是锁定度量失败 @Hisoka-X
  
• [Fix]修复http e2e案例 @jackyyyyyssss
  
• [Fix]修复Oracle示例数据中列错误 @Hisoka-X
  
• [FIX][SFTP]修复sftp sink文档中的用户名参数错误 @wuchunfu
  
• [Fix][Doris]修复CDC场景中数据删除的异常问题。 @liugddx
  
• [Hotfix][Connector]修复Kafka消耗者下一次启动时的日志偏移量 @hailin0
  
• [Fix][Connector-V2][OceanBase]移除OceanBase目录对mysql驱动的依赖 @xxsc0529
  
• [Fix][Doc]修复 miss sink-options-placeholders.md 在侧边栏中 @Hisoka-X
  
• [Fix][Doc]修复混合集群部署文档显示错误 @Hisoka-X
  
• [Hotfix][Zeta]当体系繁忙时，无法停止修复任务 @hailin0
  
• [Hotfix][Zeta]当体系繁忙时，无法停止修复任务 @hailin0
  
• [Fix][Connector-V2]修复Doris TRANSFER_ENCODING头部错误 @liugddx
  
• [Fix][Dist]在发布包中移除aws jar依赖 @Hisoka-X
  
• 
  
  
  
  • [Hotfix][Zeta]修复任务组失败日志丢失 @EricJoy2048
    
  
  
• [Fix][Zeta]修复发布槽资源两次 @Hisoka-X
  
• [Fix][Zeta]在初始化时，混合部署模式无法获取工作节点 @Hisoka-X
  
• [Fix][Connector kafka]修复Kafka消耗者在TM节点重启后停止获取数据的问题 @litiliu
  
• [Fix][E2E]修复类加载器数目 @jackyyyyyssss
  
• [HotFix] [Remote Debug]描述 当远程调试启用时，Seatunel 服务器的5801端口未能正确监听 @hawk9821
  
• [Fix][Connector-V2][Maxcompute]修复Maxcompute 沉淀无法映射字段的问题 @panpan2019
  
• [Fix][Connector-V2]修复Hana范例转换器的十进制小数位数为0时转换为整数错误 @Hisoka-X
  
• [Bugfix][RestApi]修复hazelcast/rest/maps/submit-job返回错误的jobId @liugddx
  
• [hotfix][connector-v2-hbase]修复并优化HBase源问题 @zhangshenghang
  
• [Fix][Connector-V2]修复Kafka批处理模式无法读取所有消息 @Hisoka-X
  
• [Fix][Connector-V2][Elasticsearch]修复DROP_DATA数据sink配置 @Wudadada
  
• [bugFix][Connector-V2][CDC]Apache SeaTunnelRowDebeziumDeserializationConverters NPE @Asura7969
  
• [Hotfix][connector-v2-rabbit]修复Rabbit检查点异常在Flink模式下 @zhangshenghang
  
• [Hotfix][Zeta]修复批量任务在重试后无法停止 @hailin0
  
• [Hotfix][Hive Connector]修复Hive的hdfs-site.xml和hive-site.xml文件，以办理加载错误 @EricJoy2048
  
• [Fix][Flink-starter]Apache SeaTunnel的Flink检查点默认值的热修复 @zhangshenghang
  
• [Fix][Zeta]修复env jars在zeta上无法运行 @Hisoka-X
  
• [fix] [connector-tdengine]在毗连到Taos并读取数据时，办理SQL异常和并发修改异常 @alextinng
  

优化

• [Improve][Connector-v2]在JDBC的executeBatch实行过程中发生异常时，即使在closeStatements中释放资源。 @dailai
  
• [Improve][Connector-v2]支持MySQL 8.1/8.2/8.3的JDBC @dailai
  
• [Feature][Core]为批处理开始和停止添加了rest-api @zhangshenghang
  
• [Improve][Test]移除S3Utils中的无用代码。 @FlechazoW
  
• [Improve][Document]修复paimon.apache.org死链 @FuYouJ
  
• [Improve][Connector-V2]仿冒支持列配置 @corgy-w
  
• [Feature][Core]为所有毗连器添加变乱通知 @zhangshenghang
  
• [Improve][Connector-V2]移除硬编码的Iceberg表格式版本 @Hisoka-X
  
• [Improve]更新Docker文档并构建标签 @Hisoka-X
  
• [Feature][Connector-V2][Tablestore]支持Tablestore的Source毗连器 #7448 @cloud456
  
• [Improve]改进一些毗连器，准备检查错误消息 @zhangshenghang
  
• [Feature][Connector-V2]在jdbc中添加decimal_type_narrowing选项 @Hisoka-X
  
• [Improve]添加了OSSFileCatalog及其工厂 @loustler
  
• [Improve]重构S3FileCatalog及其工厂 @loustler
  
• [Feature][Connector-V2]支持Typesense毗连器 @zhangshenghang
  
• [Improve][Connector-V2]更新向量范例 @corgy-w
  
• [Improve][API]添加 IGNORE savemode 范例 @jw-itq
  
• [Improve][API]将catalog open移动到SaveModeHandler @Hisoka-X
  
• [Improve]将快照版本更新到2.3.8 @wuchunfu
  
• [Feature][Connector-V2]支持opengauss-cdc @dailai
  
• [Improve][Doc]更新文档布局 @Hisoka-X
  
• [Feature][Connector-V2]假源支持天生向量数据 @corgy-w
  
• [Improve][Connector-V2]移除体系表限定 @Hisoka-X
  
• [Improve][Connector-V2]使用完毕后关闭所有ResultSet @Hisoka-X
  
• [Improve][Document]更新指南并添加示例 @yujian225
  
• [Improve]更新pull哀求模板和github动作指南 @Hisoka-X
  
• [Feature][Connector-V2][OceanBase]OceanBase上的支持向量范例 @xxsc0529
  
• [Improve]在安装插件时，跳过下载传递依赖项 @kevinjmh
  
• [Improve][Connector-V2]支持多表sink特性用于邮件 @corgy-w
  
• [Improve][Document]在setup.md中更改废弃的毗连器名称 @Hisoka-X
  
• [Feature][Rabbitmq]允许配置队列长期性和删除策略 @zqr10159
  
• [Feature][connector-v2]添加Kafka Protobuf数据剖析支持 @zhangshenghang
  
• [Improve][Connector]添加多表sink选项检查 @hailin0
  
• [Improve][API]在发送到下游之前，请检查目录表字段名称是否合法 @Hisoka-X
  
• [Improve][Connector-V2][Console]将现有规则添加到optionRule中 @chaos-cn
  
• [Feature][Connector-V2]添加阿里云SLS毗连器 #3733 @XenosK
  
• [Feature]添加Dockerfile @liunaijie
  
• [Improve][Connector-V2]优化 Doris 错误消息 @Hisoka-X
  
• [Improve][Connector-V2]在StarRocksCatalog中重用毗连 @Hisoka-X
  
• [Feature][Zeta]增加了多表的其他度量信息 @corgy-w
  
• [Improve][Connector-V2][Jdbc]移除JdbcDialect中的MysqlType引用 @whhe
  
• [Improve][E2E]支持Paimon的端到端（e2e）中的Windows @hawk9821
  
• [Improve][Transform]优化DynamicCompile转换 @jackyyyyyssss
  
• [Improve][Jdbc]在创建表时合并用户配置主键 @hailin0
  
• [Improve]将快照版本更新至2.3.7 @Hisoka-X
  
• [Feature][Transform]添加LLM转换 @Hisoka-X
  
• [Feature][Connector-V2]支持Qdrant沉淀和源毗连器 @Anush008
  
• [Improve][SQL-Transform]从输出字段中移除转义标识符 @hailin0
  
• [Improvement]JDBC支持方言名称，用于选择方言。 @liunaijie
  
• [Improve][Jdbc]在主动创建表时，跳过所有索引以提高写入性能 @dailai
  
• [Feature][Transforms]SQL中将支持的cast到字节函数 @hailin0
  
• [Feature][Spark]支持多表读取和写入 @Carl-Zhou-CN
  
• [Improve]优化doris jar中的thrift shade包 @luzongzhu
  
• [Improve][Core]基于插件名称改进查找策略基础 @corgy-w
  
• [Improve][Transform]优化DynamicCompile转换 @jackyyyyyssss
  
• [Feature][Jdbc]支持Hive兼容模式添加Inceptor方言 @Xuzhengz
  
• [Improve][Connector-v2]优化数据库和表的存在性检查方式 @dailai
  
• [Improve][API]确保TablePath中的表名不为null @Hisoka-X
  
• [Feature] [Activemq]添加了activemq 沉淀 @asapekia
  
• [Improve][Connector-v2]优化jdbc-oracle和oracle-cdc的计数表行 @dailai
  
• [Improve][Zeta]处理用户隐私当提交任务打印配置日志时 @hawk9821
  
• [Feature][Connector-V2][Iceberg]支持Iceberg Kerberos @luzongzhu
  
• [Improve][Core]将MultiTableSink移至seatunnel-api模块 @Hisoka-X
  
• [Improve][Connector-V2]为paimon字段添加可为空属性 @hawk9821
  
• [Improve][Doris Connector]统一序列化方法，使用RowToJsonConverter和TextSerializationSchema @liugddx
  
• [Feature]将转换拆分并移入毗连器目录的jar包 @liunaijie
  
• [Feature][Zeta]在多表模式下添加了表统计的度量信息 @hawk9821
  
• [Improve][Hive]在出现异常时关闭资源 @hailin0
  
• [Improve][Restapi]在监控信息中添加ip和端口 @liugddx
  
• [Improve][CI]将milvus添加到标签 @Hisoka-X
  
• [Improve]在无法剖析datetime值时，改进错误消息 @Hisoka-X
  
• [Feature][Connector-V2]支持选择在HTTP分页中开始的页面 @Gxinge
  
• [Improve][Jdbc]在catalog-table选项中移除用户信息 @hailin0
  
• [Improve][CI]添加主动标签动作 @Hisoka-X
  
• [Feature][RestAPI]概览支持标签筛选 @liunaijie
  
• [Feature][Transform]动态编译添加转换 @jackyyyyyssss
  
• [Feature][Connector-V2]支持HBase的多表sink特性 @BruceWong96
  
• [Improve][Jdbc]支持将Unicode文本写入SQLServer @hailin0
  
• [Feature][Connector-V2][Milvus]支持Milvus数据源与sink @Thomas-HuWei
  
• [Improve][connector-v2-jdbc-mysql]为MySQL 8.4添加支持 @wuchunfu
  
• [Feature][Connector-V2][Clickhouse]将clickhouse.config添加到源毗连器 @loustler
  
• [Improve][Jdbc]将catalog table log更改为debug级别 @Hisoka-X
  
• [Feature][Core]支持在sink选项中使用上游表占位符，并主动替换 @hailin0
  
• [Feature][Core]为动态自定义参数添加一个测试案例 @liugddx
  
• [feature][connector-v2-hbase-sink]支持Connector v2 HBasesink的TTL数据写入 @zhangshenghang
  
• [Improve][Document]在Postgre-CDC.md文件中将Postgre修复为PostgreSQL @Vonng
  
• [Improve]修复plugin_config @hailin0
  
• [Feature] [Github CI]模块反复运行 @hawk9821
  
• [Improve][Redis]关于Apache SeaTunnel的Redis读取器使用scan下令而非keys，单模式的读写支持批量操纵。 @FuYouJ
  
• [feature][connector-file-local]为localfile添加保存模式功能 @chl-wxp
  
• [Improve][E2E][Doris]为毗连器-doris-e2e添加无模式测试用例 @bingquanzhao
  
• [Improve][Doc]优化钉钉文档 @MRYOG
  
• [Improve][Zeta]在资源管理器上哀求槽位时添加重试 @Hisoka-X
  
• [Improve][Doc]将IMap OSS配置JAR文件添加到文档中 @zhouhoo
  
• [ [Improve][Zeta]关于Apache SeaTunnel的功能和特性，请勿翻译，仅将以下内容翻译成中文："为提交重复的工作ID添加检查" ]( https://github.com/apache/seatunnel/pull/7021 " [Improve][Zeta]关于Apache SeaTunnel的功能和特性，请勿翻译，仅将以下内容翻译成中文："为提交重复的工作ID添加检查" ") @Hisoka-X
  
• [Feature][Connector-V2]支持jdbc hana目录和范例转换器 @Hisoka-X
  
• [Feature][Zeta]在Apache SeaTunnel中添加Master和Worker的分裂模式部署 @EricJoy2048
  
• [Improve][Connector-V2]支持MySQL-CDC和MySQL-JDBC的模式演化 @dailai
  
• [Improve][hbase]指定的列写入指定的列族 @zhilinli123
  
• [Feature][connector][kafka]支持从kafka读取Maxwell格式消息 #4415 @zhilinli123
  
• [Feature][Connector-V2] [Hudi]添加Hudi Sink毗连器 @liugddx
  

其他事项

• [Document]移除一个fs.oss.credentials.provider选项 @loustler
  
• [Hotifx][Jdbc]修复MySQL不支持'ZEROFILL'列范例 @hailin0
  
• [ASF]添加新合作者 @Hisoka-X
  
• [Core][Flink]优化方法名称 @TyrantLucifer
  
• [Core][Flink]重构 Flink 署理源/汇 @TyrantLucifer
  
• [DOC][Oss]在选择oss作为检查点基础时，修正了文档配置的错误 @Carl-Zhou-CN
  
• [E2E]启用JdbcPostgresIdentifierIT @hailin0
  
• [E2E]启用Spark/Flink的fakesource端到端（E2E）功能 @hailin0
  
• [E2E]移除未使用的代码 @hailin0
  
• 将org.apache.activemq:activemq-client从5.14.5升级到5.15.16在/seatunnel-connectors-v2/connector-activemq中 @dependabot[bot]
  
• 更新Oracle-CDC.md @virvle
  
• [Docs]变乱监听器文档翻译成中文 @OswinWu
  
• [Chore][NOTICE]在NOTICE文件中更正年份 @wuchunfu
  
• [Docs]更新与引擎干系的文档信息 @tcodehuber
  
• [Doc]HDFS文件文档校正 @liunaijie
  
• [E2E]修复Iceberg全链路图像标签 @hailin0
  
• [Docs]更新贡献和readme干系的文档信息 @tcodehuber
  
• [Docs]更新关于transform和faq干系文档信息 @tcodehuber
  
• [Docs]更新概念干系的文档信息 @tcodehuber
  
• [Docs]更新与快速启动v2干系的文档信息 @tcodehuber
  
• 将org.xerial.snappy:snappy-java从1.1.8.3升级到1.1.10.4在/seatunnel-connectors-v2/connector-hudi中 @dependabot[bot]
  
• [CI]修复k8s引擎，当仅更改测试用例时无法运行 @Hisoka-X
  
• [Docs]更新rest-api文档 @liunaijie
  
• [Chore]删除无用代码 @TyrantLucifer
  
• [CI][Test]修复engine-k8s-it失败 @Hisoka-X
  
• [typo]关于Apache SeaTunnel的提示：错误的拼写，保存模式实行位置 @liunaijie
  
• [Doc]修正文档 @liunaijie
  
• [Docs][connector-sink]添加 Docs 毗连器 v2 沉淀 @zhangshenghang
  
• [Docs]将clickhousefile,phoenix,rabbitmq,starrocks sink文档翻译成中文 @latch890727
  

apache/seatunnel-website堆栈

fix

• [Fix][Doc]修复 miss sink-options-placeholders.md 在侧边栏中 @Hisoka-X
  
• [Fix][Doc]修复混合集群部署文档显示错误 @Hisoka-X
  

others

• 新增提交者 @liunaijie
  
• 添加发布文档2.3.7修复 @wuchunfu
  
• 添加版本文档2.3.7 @wuchunfu
  
• 还原旧版本文档 @Hisoka-X
  
• 修复版本脚本 @baicie
  
• 添加版本文档2.3.6 @Hisoka-X
  
• 修复：同步图像 @baicie
  

apache/seatunnel-web堆栈

修复

• [Bug] [Seatunnel-web]Apache SeaTunnel的/seatunnel/api/v1/job/executor/resource API并未使用已登录用户。 @arshadmohammad
  
• [Bug] [Seatunnel-web]当作业实行初始化失败时，作业实行状态保持不变。 @arshadmohammad
  
• [Bug] [Seatunnel-web]如果不存在，则创建日志目录。 @arshadmohammad
  
• [Bug] [Seatunnel-web]验证消息错误 @arshadmohammad
  
• [Fix]修复运行时间计算，以思量缺失的天数。 @XIAOKUOAIyang
  
• [Bug][Seatunnel-web]JWT算法是硬编码的。使用配置的j... @BilwaST
  
• [Bug] [Seatunnel-web]Apache SeaTunnel的seatunnel-web启动脚本和插件下载脚本默认没有实行权限 @arshadmohammad
  
• [Bug] [Seatunnel-web]Seatunnel-web始终要求集群名称为seatunnel @arshadmohammad
  
• [Bug] [Seatunnel-web]在logs目录之外创建了gc.log，nohup.out @arshadmohammad
  
• [Improve][feature][Bug]在任务定义中添加提示框，并修复设计问题。 @SachinS10-lab
  

优化

• [Improvement] [Seatunnel-web]改进DatasourceServiceImpl和SeaTunnelEngineMetricsExtractor等代码。 @arshadmohammad
  
• [Improvement] [Seatunnel-web]添加API以获取和更新作业定义。 @arshadmohammad
  
• [Improvement] [Seatunnel-web]添加API以获取作业实行状态。 @arshadmohammad
  
• [Improvement] [Seatunnel-web]增加支持以提供作业失败的缘故原由 @arshadmohammad
  
• [Feature] [Seatunnel-web]通过API支持使用参数实行作业。 @arshadmohammad
  
• [Improvement] [Seatunnel-web]将seatunnel版本从2.3.6升级到2.3.7 @arshadmohammad
  
• [Feature][Seatunnel-web]增加对使用单一API创建作业的支持 @arshadmohammad
  
• [Improvement][Seatunnel-web]实行作业REST API 应该是POST范例，而不是GET范例。 @arshadmohammad
  
• [Improvement][Seatunnel-web]为seatunnel-web REST API添加端到端实行支持 @arshadmohammad
  
• [Improvement][Seatunnel-web]将frontend-maven-plugin从1.11.3升级到1.15.0，同时将slf4j.version从1.7.25升级到1.7.36。 @arshadmohammad
  
• [Feature][Seatunnel-web]将FakeSource和Console数据源添加到seatunnel-web中 @arshadmohammad
  
• [Improve] [Seatunnel-Web]在Seatunnel-Web中添加对Seatunnel 2.3.6的支持 @arshadmohammad
  

其他事项

• [Chore]代码整洁 @ZhangWeike2000
  
• [Build]将快照版本更新至1.0.2 @Hisoka-X
  
• [ 撤销"为修复seatunnel.sh下令更新README.md" ]( https://github.com/apache/seatunnel-web/pull/175 " 撤销"为修复seatunnel.sh下令更新README.md" ") @Hisoka-X
  
• 更新.asf.yaml @Hisoka-X
  
• 更新README.md以修复seatunnel.sh下令 @zhangm365
  
• 添加图标 @liunaijie
  

本文由 白鲸开源 提供发布支持！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)

Powered by Discuz! X3.4