重磅预告！Apache DolphinScheduler 3.2.0 新功能“剧透”
https://img2023.cnblogs.com/other/2685289/202307/2685289-20230713175218878-1267873030.png近期，Apache DolphinScheduler 将迎来 3.2.0 版本的到来。本次发版为大版本发布，将会带来众多大家期待已久的新功能和新改进。为了让用户提前感知到新版本的变化，社区特意提前“剧透”新版本的重要 feature，并制作了视频进行介绍。
添加默认租户
在之前的版本中，用户部署完毕后必须手动添加租户。3.2.0 版本中添加了默认租户，方便大家更直接地使用 Apache DolphinScheduler。
新增多种数据源
新增了多个数据源，如 Snowflake、Databend、Kyuubi、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena，并且更新了部分数据源，如 Redshift 增加 Access key。
新增任务类型
新增了多个任务类型，如
[*]通用模块中，增加 Remote-shell 组件
[*]Cloud 模块中，新增 Amazon DMS、Azure Datafactory，增强与各种云的互联互通
[*]机器学习模块中，新增 Kubeflow 组件（基于云原生构建的机器学习任务工具大合集）
[*]其他模块中，增加 Amazon Datasync、Apache Linkis
[*]更新了部分任务，如 DataX 支持 Presto，http任务增加output 参数传递，运行批量同时 kill 多个 Yarn 任务
[*]Dependent 支持依赖自己
[*]Zeppelin 鉴权
[*]任务支持了缓存
[*]Sqoop 日志支持隐藏密码
[*]SQL 任务支持默认切割符
重跑任务时指定工作流向前、向后运行
之前在任务执行失败后，用户只能通过工作流重跑。新版本中，我们可以指定当前工作流向前、向后执行，更加灵活地对失败后的任务进行处理。
远程日志
增加了远程日志功能，并同时支持了 Google Cloud Storage、Amazon S3、阿里云 OSS 日志存储，大家可以通过编辑配置文件，把日志存储到云端。
参数
[*]调整参数优先级，启动参数最高。
[*]增加了内置参数计算规则
[*]增加了文件类型的参数
资源中心
[*]增加了Alibaba Cloud OSS的支持，重构资源中心并设计默认使用本地作为存储介质，重新支持了 re-upload。
[*]资源中心容许覆盖上传，优化文件路径，显示文件的全部路径。另外，之前版本中资源中心已经上传的同类型文件只能删除后重新上传，新版本中对本功能进行了优化，可以点击上传按钮进行上传。
增强页面易用性
[*]增加页面易用性和便利性，如增加 workflow instance 跳转到当前工作流、复制工作流名称、调整列宽等操作
[*]默认情况下会有 default 租户和本地资源中心，安装后就能使用
[*]允许在 workflow instance 中重新运行任务，更加明确的任务运行日志
[*]json 导出可阅读性更强
云原生相关
[*]支持 KEDA 做 worker 自动扩缩容
[*]支持 Terraform 部署到 AWS
[*]zk 和 pg 支持多架构
[*]提交 spark 任务到 Kubernetes
[*]获取 pod 实时日志
[*]自定义 k8s 任务标签
API
[*]增加了部分 Restful API，包括 taskInstance、workflow state、workflowInstance、workflow and schedule、task relation
[*]API 触发工作流运行可以获得instance ID
注册中心
增加 ETCD、JDBC 注册中心
架构
[*]Alert 支持 HA
[*]单线程更新 Kerberos
[*]Worker server 移除了 dao 依赖
[*]接管 task instance 失败的任务
[*]增加动态任务组配置
[*]重构了逻辑任务和远程命令
[*]资源限制（cpu 内存）从原来绝对值改成百分比
[*]支持了 SSO
3.2.0 正式版本发布流程正在准备中，敬请关注官网和 GitHub，获取最新消息！
本文由 白鲸开源 提供发布支持！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]