高效批量工作流导入及脚本上线，利用DolphinScheduler接口轻松实现 ...

实现了批量生成DolphinScheduler的任务，当导入时发现只能逐个导入，因此通过接口实现会更方便。
DolphinScheduler接口文档

DolphinScheduler是有接口文档的，地址是

1. http://IP:12345/dolphinscheduler/swagger-ui/index.html?language=zh_CN&lang=cn

复制代码

不外这文档写的比较大略，自己需要研究研究。
token：所有的接口都需要用到token

在安全中心-令牌管理 创建一个token 。记着这个token，后面所有的接口都需要用到 。
header：根据上面的token组成哀求要用的header

1. token = ''
2. headers = {
3.     'Accept': 'application/json',
4.     'token': token
5. }

复制代码

项目ID project_id 可以在查看项目工作流时，在url中找到。
DolphinScheduler导入任务接口

导入任务的接口是

1. import_url = 'http://IP:12345/dolphinscheduler/projects/{project_id}/process-definition/import'

复制代码

知道接口 就可以导入了。

1. def import_job(file_path):
2. # 打开文件并读取为二进制数据
3.     with open(file_path, 'rb') as file:
4.         files = {'file': file}
5.         # 导入工作流
6.         response = requests.post(import_url, headers=headers, files=files)
7.         print(response.status_code)
8.         if response.status_code != 200:
9.             print('上传失败  '+file_path)

复制代码

需要注意的是，导入任务时 只支持二进制。
file_path 是工作流文件，详细实现 可以工作流中导出一个作为参考。
重复利用上述方法，就可以实现批量导入任务。
工作流上线

利用上述方法批量完成任务上传后，仍旧有问题，逐个上线工作量也是个不小的工作量，因此继续利用接口。
经过研究发现，上线工作流需要先获取工作流的调度ID 。
获取工作流列表 - > 获取工作流code -> 获取所有工作流的调度ID -> 工作流上线

• 获取工作流列表
  这是接口地址
  

1. jobs_url = 'http://IP:12345/dolphinscheduler/projects/{project_id}/process-definition'

复制代码

不外这个要分页查询，轻微有一点点麻烦

1. def get_jobs_list():
2.     # 分页查询
3.     # 初始化分页参数
4.     pageNo = 1
5.     pageSize = 10
6.     url = f'{jobs_url}?pageSize=10&pageNo=1&searchVal='
7.     # 构建完整的URL
8.     # 存储所有结果
9.     all_items = list()
10.     while True:
11.         # 构建完整的URL
12.         url = f'{jobs_url}?pageSize={pageSize}&pageNo={pageNo}&searchVal='
14.         # 发送GET请求
15.         response = requests.get(url, headers=headers)
17.         # 检查响应状态码
18.         if response.status_code == 200:
19.             # 请求成功，处理响应数据
20.             items = response.content.decode()
21.             total = json.loads(items)["data"]["total"]
22.             item = json.loads(items)["data"]["totalList"]
23.             # 将当前页的数据添加到结果列表中
24.             for i in item:
25.                 all_items.append(i)
27.             # 如果当前页没有数据，退出循环
28.             if pageNo * pageSize > total:
29.                 break
30.             if not items:
31.                 break
32.             # 增加页码
33.             pageNo += 1
34.         else:
35.             # 请求失败，打印错误信息
36.             print('请求失败:', response.status_code, response.text)
37.             break
39.     return all_items

复制代码

all_items 是所有工作流的详细内容，需要提取一下

1. all_jobs = get_jobs_list()
2.         job_codes = [job['code'] for job in all_jobs]

复制代码

这样就是所有的工作流code。

• 获取调度ID
  下面是调度ID的接口，因为不想分页，直接一页1000个。
  

1. schedules_url = 'http://36.133.140.132:12345/dolphinscheduler/projects/{project_id}/schedules?pageSize=1000&pageNo=1&processDefinitionCode='

复制代码

利用这个接口就能拿到所有的调度ID

1. def schedule_id(job_code):
2.     url = schedules_url+str(job_code)
3.     response = requests.get(url, headers=headers)
4.     if response.status_code == 200:
5.         data = response.content.decode()
6.         js = json.loads(data)
7.         if len(js['data']['totalList'])>0 and js['data']['totalList'][0]['releaseState']=='OFFLINE':
8.             return js['data']['totalList'][0]['id']
9.     else:return ''

复制代码

这里过滤了已经上线的调度ID 。

• 上线
  万事俱备 终于可以上线了
  

1. online_url = 'http://36.133.140.132:12345/dolphinscheduler/projects/{project_id}/schedules/{scheduler_id}/online'

复制代码

详细实现：

1. def online_job(scheduler_id):
2.     url = online_url.format(scheduler_id=scheduler_id)
3.     response = requests.post(url, headers=headers)
4.     if response.status_code == 200:
5.         print('success')
6.     else:
7.         print('online job failed')

复制代码

到此 就可以实现导入-批量全自动了。
打完收工，祝你不加班。
原文链接：https://blog.csdn.net/weixin_45399602/article/details/143226396

本文由 白鲸开源 提供发布支持！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。