ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据技能——DolphinScheduler的集群部署 [打印本页]
作者: 冬雨财经    时间: 2024-8-28 12:41
标题: 大数据技能——DolphinScheduler的集群部署
目录
第1章 DolphinScheduler简介
1.1 DolphinScheduler概述
1.2 DolphinScheduler核心架构
第2章 DolphinScheduler部署说明
2.1 软硬件情况要求
2.1.1 操作系统版本要求
2.1.2 服务器硬件要求
2.2 部署模式
2.2.1 单机模式
2.2.2 伪集群模式
2.2.3 集群模式
第3章 DolphinScheduler集群模式部署
3.1 集群规划
3.2 前置预备工作
3.3 解压DolphinScheduler安装包
3.4 创建元数据库及用户
3.5 设置一键部署脚本
3.6 初始化数据库
3.7 一键部署DolphinScheduler
3.8 DolphinScheduler启停命令
第4章 DolphinScheduler入门
4.1 安全中心设置
4.1.1 Yarn 队列管理
4.1.2 租户管理
4.1.3 用户管理
4.1.4 告警实例管理与告警组管理
4.1.5 Worker分组管理
4.1.6 情况管理
4.1.7 令牌管理
4.2 项目管理
4.2.1 切换用户
4.2.2 创建项目
4.2.3 查看项目
4.3 工作流底子设置
4.3.1 工作流定义
4.3.2 执行工作流
4.3.3 查看工作流实例
4.3.4 查看使命实例
第5章 DolphinScheduler进阶
5.1 工作流传参
5.1.1 本地参数和全局参数
5.1.2 参数传递
5.1.3 参数优先级
5.1.4 内置参数
5.2 引用依赖资源
5.3 告警关照
5.4 工作流失败重跑

第1章 DolphinScheduler简介

1.1 DolphinScheduler概述

        Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流使命调理平台。致力于解决数据处置惩罚流程中错综复杂的依赖关系，使调理系统在数据处置惩罚流程中开箱即用。
1.2 DolphinScheduler核心架构

        DolphinScheduler的主要角色如下：
        MasterServer接纳分布式无中心设计理念，MasterServer主要负责 DAG 使命切分、使命提交、使命监控，并同时监听其它MasterServer和WorkerServer的健康状态。
        WorkerServer也接纳分布式无中心设计理念，WorkerServer主要负责使命的执行和提供日志服务。
        ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来举行集群管理和容错。
        Alert服务，提供告警相干服务。
        API接口层，主要负责处置惩罚前端UI层的哀求。
        UI，系统的前端页面，提供系统的各种可视化操作界面。


第2章 DolphinScheduler部署说明

2.1 软硬件情况要求

2.1.1 操作系统版本要求

操作系统
 版本
Red Hat Enterprise Linux
 7.0 及以上
CentOS
 7.0 及以上
Oracle Enterprise Linux
 7.0 及以上
Ubuntu LTS
 16.04 及以上
2.1.2 服务器硬件要求

CPU
 内存
 硬盘类型
 网络
 实例数量
4核+
 8 GB+
 SAS
 千兆网卡
 1+
2.2 部署模式

        DolphinScheduler支持多种部署模式，包括单机模式（Standalone）、伪集群模式（Pseudo-Cluster）、集群模式（Cluster）等。
2.2.1 单机模式

        单机模式（standalone）模式下，所有服务均集中于一个StandaloneServer进程中，而且其中内置了注册中心Zookeeper和数据库H2。只需设置JDK情况，就可一键启动DolphinScheduler，快速体验其功能。
2.2.2 伪集群模式

        伪集群模式（Pseudo-Cluster）是在单台呆板部署 DolphinScheduler 各项服务，该模式下master、worker、api server、logger server等服务都只在同一台呆板上。Zookeeper和数据库需单独安装并举行相应设置。
2.2.3 集群模式

        集群模式（Cluster）与伪集群模式的区别就是在多台呆板部署 DolphinScheduler各项服务，而且Master、Worker等服务可设置多个。
第3章 DolphinScheduler集群模式部署

3.1 集群规划

集群模式下，可设置多个Master及多个Worker。通常可设置2~3个Master，若干个Worker。由于集群资源有限，此处设置一个Master，三个Worker，集群规划如下。
hadoop102
 master、worker
hadoop103
 worker
hadoop104
 worker
3.2 前置预备工作

（1）三台节点均需部署JDK（1.8+），并设置相干情况变量。
（2）需部署数据库，支持MySQL（5.7+）大概PostgreSQL（8.2.15+）。
（3）需部署Zookeeper（3.4.6+）。
（4）三台节点均需安装进程树分析工具psmisc。
[atguigu@hadoop102 ~]$ sudo yum install -y psmisc
[atguigu@hadoop103 ~]$ sudo yum install -y psmisc
[atguigu@hadoop104 ~]$ sudo yum install -y psmisc
3.3 解压DolphinScheduler安装包

（1）上传DolphinScheduler安装包到hadoop102节点的/opt/software目录
（2）解压安装包到当前目录
注：解压目录并非最终的安装目录
[atguigu@hadoop102 software]$ tar -zxvf apache-dolphinscheduler-2.0.5-bin.tar.gz
3.4 创建元数据库及用户

DolphinScheduler 元数据存储在关系型数据库中，故需创建相应的数据库和用户。进入mysql
（1）创建数据库
  1. CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
复制代码
（2）创建用户
  1. CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
复制代码
注：
若出现以下错误信息，表明新建用户的密码过于简朴。
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
可提高密码复杂度大概执行以下命令降低MySQL密码强度级别。
  1. mysql> set global validate_password_policy=0;
  2. mysql> set global validate_password_length=4;
复制代码
（3）赋予用户相应权限
  1. GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
  3. flush privileges;
复制代码
3.5 设置一键部署脚本

修改解压目录下的conf/config目录下的install_config.conf文件。
[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ vim conf/config/install_config.conf
修改内容如下。








3.6 初始化数据库

（1）拷贝MySQL驱动到DolphinScheduler的解压目录下的lib中，要求使用 MySQL JDBC Driver 8.0.31。
[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ cp /opt/software/mysql/mysql-connector-j-8.0.31.jar lib/

（2）执行数据库初始化脚本
数据库初始化脚本位于DolphinScheduler解压目录下的script目录中，即/opt/software/ds/apache-dolphinscheduler-2.0.5-bin/script/。
[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ script/create-dolphinscheduler.sh
3.7 一键部署DolphinScheduler

（1）启动Zookeeper集群
[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ zk.sh start
（2）一键部署并启动DolphinScheduler
[atguigu@hadoop102 apache-dolphinscheduler-2.0.5-bin]$ ./install.sh
（3）查看DolphinScheduler进程

（4）访问DolphinScheduler UI
DolphinScheduler UI地址为http://hadoop102:12345/dolphinscheduler
初始用户的用户名为：admin，密码为dolphinscheduler123

3.8 DolphinScheduler启停命令

DolphinScheduler的启停脚本均位于其安装目录的bin目录下。
1）一键启停所有服务
./bin/start-all.sh
./bin/stop-all.sh
留意同Hadoop的启停脚本举行区分。
2）启停 Master
./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server
3）启停 Worker
./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server
4）启停 Api
./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server
5）启停 Logger
./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server
6）启停 Alert
./bin/dolphinscheduler-daemon.sh start alert-server
./bin/dolphinscheduler-daemon.sh stop alert-server
第4章 DolphinScheduler入门

4.1 安全中心设置

        安全中心主要有租户管理、用户管理、告警组管理、告警实例管理、Worker分组管理、Yarn 队列管理、情况管理、令牌管理等功能。

4.1.1 Yarn 队列管理

        队列是在执行spark、mapreduce等程序，需要用到“队列”参数时使用的。
        此处的队列对应的是Yarn调理器的资源队列。故队列概念只对跑在Yarn上的使命类型有用。此处创建出的队列，可供后续使命举行选择。需要留意的是，在DolphinScheduler中创建队列，并不会影响到Yarn调理器的队列设置。
此处可不创建队列。

注：

4.1.2 租户管理

        租户对应的是Linux的用户，用于worker提交作业所使用的用户。如果linux没有这个用户，默认情况下会导致使运气行失败。可以通过修改 worker.properties 设置文件中参数 worker.tenant.auto.create=true（默认值为 false）实现当 linux 用户不存在时自动创建该用户。worker.tenant.auto.create=true 参数会要求 worker 可以免密运行 sudo 命令。
此处创建一个atguigu租户，如下图。

注：

4.1.3 用户管理

        用户对应的是DolphinScheduler的用户，用于登录DolphinScheduler。用户分管理员用户和普通用户。
        管理员有授权和用户管理等权限，没有创建项目和工作流定义的操作的权限。
        普通用户可以创建项目和对工作流定义的创建，编辑，执行等操作。
此处创建一个普通用户atguigu，如下图。

注：

4.1.4 告警实例管理与告警组管理

告警实例与告警组用于使运气行成功大概失败之后的告警关照。一个告警组可包含多个告警实例，一个告警实例，需选择一个告警插件，并设置相应参数，目前支持的告警插件有电子邮件、钉钉、企业微信、飞书等。
此处暂不设置。
4.1.5 Worker分组管理

一个Worker分组由多个Worker构成。在使命执行时，可以将使命分配给指定Worker组，由该组中的Worker节点执行该使命。每个Worker至少属于一个组，默认为default组。Worker所属分组可以调解，调解方式如下：
1）方式一
打开要设置分组的Worker节点上的worker.properties设置文件，修改worker.groups参数，worker.groups参数的值为该Worker节点对应的分组名称,默认为default，如果该worker节点属于多个分组，则多个分组名称以逗号隔开。
示例:
worker.groups=default,test
2）方式二
在Web UI的安全中心的Workder分组管理中修改，如下图所示。

此处可不做设置。
4.1.6 情况管理

此处可设置Worker运行情况（使运气行时所需的情况变量），默认的运行情况由Worker节点中，dolphinscheduler安装目录下的conf/env/dolphinscheduler_env.sh决定。
创建情况的操作如下图所示，情况创建完毕之后，就可供Worker运行使命时选择。

        注：

此处暂不做设置。
4.1.7 令牌管理

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时，无需使用令牌。若需将DolphinScheduler与第三方服务举行集成，则需调用其接口，此时需使用令牌。
4.2 项目管理

4.2.1 切换用户

默认不使用管理员用户操作项目和工作流等，故需先切换到普通用户atguigu。
1）admin用户退出

2）使用atguigu用户登录

4.2.2 创建项目


4.2.3 查看项目


4.3 工作流底子设置

下图为工作流设置页面，共包含三个模快，分别为工作流定义、工作流实例和使命实例。
工作流定义：用于定义工作流，包括工作流各节点使命详情及各节点依赖关系等。
工作流实例：工作流每执行一次就会生成一个工作流实例。此处可查看正在运行的工作流以及已经完成的工作流。
使命实例：工作流中的一个节点使命，每执行一次就会生成一个使命实例。此处可用于查看正在执行的节点使命以及已经完成的节点使命。

4.3.1 工作流定义

工作流要求：工作流需包含三个Shell类型的使命节点，分别是A，B，C。三个使命的依赖关系如下图所示：

1）创建工作流

2）设置使命节点
（1）节点A

（2）节点B

（3）节点C

3）设置使命节点的依赖关系
设置依赖的关系的方式如下两种：
（1）直接对 DAG 图举行拖拽操作

（2）在节点设置中选择 “前置使命”

4）保存工作流定义

4.3.2 执行工作流

1）上线工作流
工作流须上线之后才能执行。处于上线状态的工作流定义不可修改，如需修改，须先下线。

2）单次运行工作流

3）定时执行工作流
（1）点击定时

（2）设置定时规则
此处示例为每分钟执行一次

（3）定时管理

（4）定时上线

4.3.3 查看工作流实例

1）查看所有工作流实例

2）查看工作流执行状态

4.3.4 查看使命实例

1）查看所有使命实例

2）查看使命实例日志


第5章 DolphinScheduler进阶

5.1 工作流传参

5.1.1 本地参数和全局参数

DolphinScheduler支持对使命节点举行灵活的传参，使命节点可通过${参数名}引用参数值。
1）本地参数
本地参数是指只针对单个使命节点有用的参数。
（1）修改helloworld工作流Node-A节点如下


（2）保存工作流并运行，查看Node-A输出日志。
2）全局参数
全局参数是指针对整个工作流的所有使命节点都有用的参数。
（1）修改helloworld工作流每个使命节点如下
节点A设置

节点B设置

节点C设置

（2）保存工作流，并设置全局参数

（3）执行工作流，查看三个使命节点输出日志。
5.1.2 参数传递

DolphinScheduler支持上游使命节点向下游使命节点传参。目前支持这个特性的使命类型有：Shell、SQL、Procedure。以下案例使用Shell类型的使命节点举行演示。
1）设置上游节点Node-A

注：echo '${setValue(key=value)}'为固定写法
2）设置下游节点Node-C

3）查看输出日志
可以看到对应节点日志中输出了其调用参数的值。
5.1.3 参数优先级

一个使命节点引用的参数可能来自三种类型：分别是全局参数 、上游使命传递的参数、本地参数。因为参数的值存在多个来源，当参数名相同时，就需要考虑参数优先级的问题。DolphinScheduler 参数的优先级从低到高为：上游使命传递的参数<全局参数<本地参数。
在上游使命传递的参数的情况下，由于上游可能存在多个使命向下游传递参数。当上游传递的参数名称相同时：
下游节点会优先使用值为非空的参数。
如果存在多个值为非空的参数，则按照上游使命的完成时间排序，选择完成时间最早的上游使命对应的参数。
5.1.4 内置参数

DolphinScheduler提供了一些时间相干的系统参数，方便定时调理使用。
1）底子内置参数
变量名
 参数
 说明
system.biz.date
 ${system.biz.date}
 定时时间前一天，格式为 yyyyMMdd
system.biz.curdate
 ${system.biz.curdate}       
 定时时间，格式为 yyyyMMdd
system.datetime
 ${system.datetime}
定时时间，格式为 yyyyMMddHHmmss
2）衍生内置参数
可通过衍生内置参数，设置恣意格式、恣意时间的日期。
（1）自定义日期格式
可以对 $[yyyyMMddHHmmss] 恣意分解组合，如 $[yyyyMMdd], $[HHmmss], $[yyyy-MM-dd]。
（2）使用 add_months() 函数
该函数用于加减月份， 第一个入口参数为[yyyyMMdd]，表示返回时间的格式 第二个入口参数为月份偏移量，表示加减多少个月。
参数
 说明
$[add_months(yyyyMMdd,12*N)]
 后 N 年
$[add_months(yyyyMMdd,-12*N)]
 前 N 年
$[add_months(yyyyMMdd,N)]
 后 N 月
$[add_months(yyyyMMdd,-N)]
 前 N 月
（3）直接加减数字
在自定义格式后直接“+/-”数字，单位为“天”。
参数
 说明
$[yyyyMMdd+7*N]
 后 N 周
$[yyyyMMdd-7*N]
 前 N 周
$[yyyyMMdd+N]
 后 N 天
$[yyyyMMdd-N]
 前 N 天
$[HHmmss+N/24]
 后 N 小时
$[HHmmss-N/24]
 前 N 小时
$[HHmmss+N/24/60]
 后 N 分钟
$[HHmmss-N/24/60]
 前 N 分钟
3）设置示例
若执行的脚本需要一个格式为yyyy-MM-dd的前一天日期的参数，举行如下设置即可。

5.2 引用依赖资源

有些使命需要引用一些额外的资源，比方MR、Spark等使命须引用jar包，Shell使命需要引用其他脚本等。DolphinScheduler提供了资源中心来对这些资源举行同一管理。资源中心存储系统可选择本地文件系统大概HDFS等。资源中心除了提供文件资源管理功能，还提供了Hive自定义函数管理的功能。
下面以Shell使命为例，演示怎样引用资源中心的其他脚本。
1）在资源中心创建脚本

2）设置Shell使命引用脚本
修改工作流节点Node-A，引用上述脚本

3）保存工作流并执行，查看对应节点输出日志。
5.3 告警关照

Dolphinscheduler支持多种告警前言，此处以电子邮件为例举行演示。
1）预备邮箱
如需使用DolphinScheduler的电子邮件告警关照功能，需要预备一个电子邮箱账号，并启用SMTP服务。此处以 QQ 邮箱为例。
（1）开启 SMTP 服务

拖动进度条在页面下方找到下图所示内容，开启 POP3/SMTP | IMAP/SMTP 任一服务即可。

（2）获得授权码

2）DolphinScheduler 设置
（1）切换管理员用户
（2）创建告警实例
第一步：点击创建告警实例

第二步：编辑告警实例

（3）创建告警组
第一步：点击创建告警组

第二步：编辑告警组

3）测试告警关照
（1）切换普通用户
（2）执行工作流测试

（3）期待接受邮件
5.4 工作流失败重跑

若工作流执行到一半失败了，需要重新启动工作流。重新启动时可选择从起点开始执行，也可选择从断点开始执行。
1）模拟失败场景
（1）修改Node-A设置如下

（2）修改资源中心的test.sh文件如下

 2）运行工作流

3）查看工作流实例

4）工作失败重跑
（1）从起点开始

（2）从断点开始


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4