倒带ChunJun，同心前行｜2022年度回顾&2023年共建规划
ChunJun是一个开始于2018年的批流一体数据集成框架项目，原名FlinkX。2022年2月22日，在FlinkX进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为ChunJun，希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架。2022年的ChunJun茁壮成长，如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。
项目地址：https://github.com/DTStack/chunjun
ChunJun 项目进展
Star数：3437 Fork数：1556
Issue Closed：764 PR Cloesd：523
Contributors：68 Commits：5147
ChunJun 内容输出
视频课程：共计15课
涵盖直播课程、入门指南、解决方案等方方面面
精品文章：共计18篇
带你快速了解chunJun
技术社群：3898人
已成为大量开发者及大数据爱好者的交流学习平台
ChunJun 奖项荣誉
入选Gitee最有价值开源项目——GVP
https://img2023.cnblogs.com/other/2317299/202302/2317299-20230214140736828-1514480278.png
2022 ChunJun大事记
送虎岁，迎兔年，值此除旧迎新之际，想和一直以来关注ChunJun开源社区的朋友聊聊这一年的进展：
2022年2月22日
沉淀了团队六年来在数据同步和集成方面的实践经验，技术团队决定对FlinkX进行整体升级，并更名为ChunJun。希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架。
2022年5月28日
ChunJun社区第一次会议，讨论当前第一个版本的roadmap规划，首次邀请社区小伙伴一起参与讨论。内容包括减少启动参数，让用户快速启动；增加 Docker 部分，用户直接下载Docker 镜像，开箱即用等。
2022年6月25日
开源小伙伴贡献的官网内容正式发布。
官网地址：https://dtstack.github.io/chunjun/
2022年7月9日
ChunJun社区第二次会议，讨论当前第二个版本的roadmap规划。
2022年9月18日
ChunJun社区第三次会议，讨论当前第三个版本的roadmap规划，调整 pr review & merge 规范和流程。
2022 ChunJun活动
2022年8月27日
联合OceanBase社区主办开源线下Meetup，发布基于Oceanbase 的离线插件和cdc 插件，并推出联合方案。
https://img2023.cnblogs.com/other/2317299/202302/2317299-20230214140738055-5203795.png
2022年9月24日
参与Hadoop MeetUp，分享ChunJun在实时采集上的功能和新特性。
https://img2023.cnblogs.com/other/2317299/202302/2317299-20230214140739419-1918824465.png
2022年10月29日
联合举办 COSCon'22 开源年会杭州分会场，分享袋鼠云三大组件 ChunJun、Taier、ChengYing 的配套使用构建。
https://img2023.cnblogs.com/other/2317299/202302/2317299-20230214140740882-1452599703.png
2022 ChunJun精品课程
2022年4月27日
课程：ChunJun支持异构数据源DDL转换与自动执行
视频链接：https://sourl.cn/i9CzDP
2022年6月27日
课程：ChunJun数据还原-DDL功能模块解析
视频链接：https://sourl.cn/ffwtMc
2022年7月6日
课程：ChunJun同步Hive事务表
视频链接：https://sourl.cn/fbaWgD
2022年8月19日
课程：ChunJun数据传输模块介绍
视频链接：https://sourl.cn/iLY7vn
2022年9月22日
课程：ChunJun类加载原理与实现
视频链接：https://s.r.sn.cn/WCWURr
2022年12月9日
课程：ChunJun数据安全之Kerberos介绍
视频链接：https://s.r.sn.cn/Nix84z
2022 ChunJun研发进展
共发布七个版本：
V1.12.1
· 核心数据还原功能框架开发完成，增加了binlog/logminer 对 DDL 的监听处理；
· 丰富插件，添加Doris 插件；
· 添加ChunJun 对 Flink python udf 的支持；
· 稳定性提升，修复ChunJun 20+ bug。
V1.12.2
· 丰富插件, 添加 inceptor插件；
· 丰富插件，添加 influxdb插件；
· 代码优化，使用插件 spotless-plugins强制对代码风格进行检查；
· es 插件优化，支持 ssl模式；
· gbase 插件优化，支持 update模式；
· k8s 模式下添加对 application mode支持;
· 稳定性提升，修复ChunJun 10+ bug。
V1.12.3
· 丰富插件, 添加 starrocks插件；
· 增量同步支持 datetime类型；
· SQLserver cdc增加对数据类型 smallint的支持；
· 稳定性提升，修复ChunJun 10+ bug。
V1.12.4
· 丰富插件，添加 oceanbase插件；
· 数据还原功能加强，添加中间数据存储，避免数据丢失；
· 项目名称调整，从 FlinkX修改为 ChunJun；
· 插件优化，调整 inceptor插件的读取方式，从原来的 jdbc调整为直接读取文件；
· 插件优化，pg读取插件支持 Array类型；
· 增加对 protobuffer format的支持；
· 稳定性提升，修复ChunJun 20+ bug。
V1.12.5
· 数据同步 jdbc分片优化，添加对 range mode的支持，原先只支持 mod模式分片；
· 易用性提升，添加内置提交脚本，在不同模式下任务提交需要传入的参数，只需要传递 -job和 -confProp即可；
· ChunJun增加一个模块，准备用于发布安装包；
· 稳定性提升，修复ChunJun 15+ bug。
V1.12.6
· 优化 ChunJun数据同步的序列化方式；
· ChunJun 添加新的官网，方便社区同学了解阅读文档及技术方案；
· 丰富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis读取插件；
· docker模式的支持，并添加执行脚本和文档；
· jdbc 插件增强，添加在执行前检查 dbconn;
· hbase 插件优化和重构，支持 transformer；
· ChunJun 工程支持E2E 功能；
· oracle 插件增强支持 nchar、nvarchar2 类型的中文存储；
· 稳定性提升，修复ChunJun 30+ bug。
V1.12.7
· 优化 jdbc base模块，添加对列信息的初始化功能；
· 优化 ftp读取性能，添加对大文件切片的支持；
· hdfs 插件优化，支持 hadoop3.x 版本 orc读取；
· e2e 功能丰富，添加 ftp container；
· es7 插件优化，支持 type关键字；
· 稳定性提升，修复ChunJun 30+ bug。
2023年的ChunJun
ChunJun未来规划
· 依赖 Flink版本升级到1.16；
· ChunJun 提供Rest api 的server 服务，简化ChunJun 集成的难度；
· ChunJun 添加数据还原DDL支持Iceberg、Hudi。
兔年祝福
2022年，感谢 ChunJun社区小伙伴们的大力支持，ChunJun走的每一步都离不开你们的帮助，2023年，我们继续交流，一起进步。
也祝福大家在新的一年里兔飞猛进，快乐，幸福～
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]