IT评测·应用市场-qidao123.com

标题: Datax可视化工具Datax-web安装部署 [打印本页]

---

作者: 十念    时间: 2024-6-9 15:04
标题: Datax可视化工具Datax-web安装部署
一、Datax-web官网

github：Datax-web
gitee: Datax-web
二、Datax-web先容

1、Datax-web概述

• DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操纵界面，降低用户利用DataX的学习本钱，缩短任务配置时间，避免配置过程中堕落。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
  
• 任务"执行器"支持集群部署，支持执行器多节点路由战略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。
  

2、架构图

3、系统环境要求

• JDK版本: Java 8（jdk版本建议1.8.201以上）
  
• Python版本：Python2.7(支持Python3需要修改更换datax/bin下面的三个python文件，更换文件在doc/datax-web/datax-python3下)
  
• 操纵系统: MacOS, Windows,Linux
  
• 数据库版本: Mysql5.7及以上
  

4、特性支持

• 1、通过Web构建DataX Json；
  
• 2、DataX Json生存在数据库中，方便任务的迁移，管理；
  
• 3、Web实时查看抽取日志，类似Jenkins的日志控制台输出功能；
  
• 4、DataX运行记载展示，可页面操纵停止DataX作业；
  
• 5、支持DataX定时任务，支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
  
• 6、调治接纳中央式计划，支持集群部署；
  
• 7、任务分布式执行，任务"执行器"支持集群部署；
  
• 8、执行器会周期性主动注册任务, 调治中央将会主动发现注册的任务并触发执行；
  
• 9、路由战略：执行器集群部署时提供丰富的路由战略，包括：第一个、最后一个、轮询、随机、同等性HASH、最不经常利用、最近最久未利用、故障转移、忙碌转移等；
  
• 10、阻塞处置惩罚战略：调治过于密集执行器来不及处置惩罚时的处置惩罚战略，战略包括：单机串行（默认）、丢弃后续调治、覆盖之前调治；
  
• 11、任务超时控制：支持自界说任务超时时间，任务运行超时将会主动停止任务；
  
• 12、任务失败重试：支持自界说任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动举行重试；
  
• 13、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
  
• 14、用户管理：支持在线管理系统用户，存在管理员、普通用户两种脚色；
  
• 15、任务依赖：支持配置子任务依赖，当父任务执行竣事且执行乐成后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
  
• 16、运行报表：支持实时查看运行数据，以及调治报表，如调治日期分布图，调治乐成分布图等；
  
• 17、指定增量字段，配置定时任务主动获取每次的数据区间，任务失败重试，保证数据安全；
  
• 18、页面可配置DataX启动JVM参数；
  
• 19、数据源配置乐成后添加手动测试功能；
  
• 20、可以对常用任务举行配置模板，在构建完JSON之后可选择关联模板创建任务；
  
• 21、jdbc添加hive数据源支持，可在构建JSON页面选择数据源天生column信息并简化配置；
  
• 22、优先通过环境变量获取DataX文件目录，集群部署时不用指定JSON及日志目录；
  
• 23、通过动态参数配置指定hive分区，也可以配合增量实现增量数据动态插入分区；
  
• 24、任务类型由原来DataX任务扩展到Shell任务、Python任务、PowerShell任务；
  
• 25、添加HBase数据源支持，JSON构建可通过HBase数据源获取hbaseConfig，column；
  
• 26、添加MongoDB数据源支持，用户仅需要选择collectionName即可完成json构建；
  
• 27、添加执行器CPU、内存、负载的监控页面；
  
• 28、添加24类插件DataX JSON配置样例
  
• 29、公共字段（创建时间，创建人，修改时间，修改者）插入或更新时主动添补
  
• 30、对swagger接口举行token验证
  
• 31、任务增加超时时间，对超时任务kill datax进程，可配合重试战略避免网络题目导致的datax卡死。
  
• 32、添加项目管理模块，可对任务分类管理；
  
• 33、对RDBMS数据源增加批量任务创建功能，选择数据源，表即可根据模板批量天生DataX同步任务；
  
• 34、JSON构建增加ClickHouse数据源支持；
  
• 35、执行器CPU.内存.负载的监控页面图形化；
  
• 36、RDBMS数据源增量抽取增加主键自增方式并优化页面参数配置；
  
• 37、更换MongoDB数据源连接方式,重构HBase数据源JSON构建模块；
  
• 38、脚本类型任务增加停止功能；
  
• 39、rdbms json构建增加postSql，并支持构建多个preSql，postSql；
  
• 40、数据源信息加密算法修改及代码优化；
  
• 41、日志页面增加DataX执行结果统计数据；
  

三、安装部署

官网安装教程
1、环境准备

2、Datax-web安装包准备

• 官方提供的tar包
  官方链接，提取码：cpsk
  
• 自己当地打包编译
  
  
  
  • 直接从Git上面得到源代码
    
    1. git clone https://gitee.com/WeiYe-Jing/datax-web.git

    复制代码
  • 进入项目源码根目录执行以下命令
    
    1. mvn clean install

    复制代码
  • 执行乐成后将会在工程的build目录下天生安装包
    
    1. build/datax-web-{VERSION}.tar.gz

    复制代码
  
  
• 开始部署
  
  
  
  • 上传到服务器指定目录，举行解压
    
    1. tar -zxvf datax-web-{VERSION}.tar.gz

    复制代码
  • 执行一键安装脚本
    进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行
    
    1. ./bin/install.sh

    复制代码
  • 在交互模式下，对各个模块的package压缩包的解压以及configure配置脚本的调用，都会请求用户确认,可根据提示查看是否安装乐成，如果没有安装乐成，可以重复实验； 如果不想利用交互模式，跳过确认过程，则执行以下命令安装
    
    1. ./bin/install.sh
    2. --force

    复制代码
  
  
• 数据库初始化及配置文件
  
  
  
  • 修改相关配置文件
    
    1. vi ./modules/datax-admin/conf/bootstrap.properties

    复制代码
    将注释放开配置数据库相关信息
    
    1. #Database
    2. #DB_HOST=
    3. #DB_PORT=
    4. #DB_USERNAME=
    5. #DB_PASSWORD=
    6. #DB_DATABASE=

    复制代码
  • 进入到此目录/bin/db/datax-web.sql脚本去手动执行
    相关sql
    
  1. SET NAMES utf8mb4;
  2. SET FOREIGN_KEY_CHECKS = 0;
  4. -- ----------------------------
  5. -- Table structure for job_group
  6. -- ----------------------------
  7. DROP TABLE IF EXISTS `job_group`;
  8. CREATE TABLE `job_group`  (
  9.   `id` int(11) NOT NULL AUTO_INCREMENT,
  10.   `app_name` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '执行器AppName',
  11.   `title` varchar(12) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '执行器名称',
  12.   `order` int(11) NOT NULL DEFAULT 0 COMMENT '排序',
  13.   `address_type` tinyint(4) NOT NULL DEFAULT 0 COMMENT '执行器地址类型：0=自动注册、1=手动录入',
  14.   `address_list` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器地址列表，多地址逗号分隔',
  15.   PRIMARY KEY (`id`) USING BTREE
  16. ) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  18. -- ----------------------------
  19. -- Records of job_group
  20. -- ----------------------------
  21. INSERT INTO `job_group` VALUES (1, 'datax-executor', 'datax执行器', 1, 0, NULL);
  23. -- ----------------------------
  24. -- Table structure for job_info
  25. -- ----------------------------
  26. DROP TABLE IF EXISTS `job_info`;
  27. CREATE TABLE `job_info`  (
  28.   `id` int(11) NOT NULL AUTO_INCREMENT,
  29.   `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  30.   `job_cron` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '任务执行CRON',
  31.   `job_desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  32.   `add_time` datetime(0) NULL DEFAULT NULL,
  33.   `update_time` datetime(0) NULL DEFAULT NULL,
  34.   `author` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '作者',
  35.   `alarm_email` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '报警邮件',
  36.   `executor_route_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器路由策略',
  37.   `executor_handler` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务handler',
  38.   `executor_param` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务参数',
  39.   `executor_block_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '阻塞处理策略',
  40.   `executor_timeout` int(11) NOT NULL DEFAULT 0 COMMENT '任务执行超时时间，单位秒',
  41.   `executor_fail_retry_count` int(11) NOT NULL DEFAULT 0 COMMENT '失败重试次数',
  42.   `glue_type` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'GLUE类型',
  43.   `glue_source` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT 'GLUE源代码',
  44.   `glue_remark` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'GLUE备注',
  45.   `glue_updatetime` datetime(0) NULL DEFAULT NULL COMMENT 'GLUE更新时间',
  46.   `child_jobid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
  47.   `trigger_status` tinyint(4) NOT NULL DEFAULT 0 COMMENT '调度状态：0-停止，1-运行',
  48.   `trigger_last_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '上次调度时间',
  49.   `trigger_next_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '下次调度时间',
  50.   `job_json` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT 'datax运行脚本',
  51.   PRIMARY KEY (`id`) USING BTREE
  52. ) ENGINE = InnoDB AUTO_INCREMENT = 7 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  55. -- ----------------------------
  56. -- Table structure for job_jdbc_datasource
  57. -- ----------------------------
  58. DROP TABLE IF EXISTS `job_jdbc_datasource`;
  59. CREATE TABLE `job_jdbc_datasource`  (
  60.   `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  61.   `datasource_name` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '数据源名称',
  62.   `datasource_group` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT 'Default' COMMENT '数据源分组',
  63.   `jdbc_username` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '用户名',
  64.   `jdbc_password` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '密码',
  65.   `jdbc_url` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'jdbc url',
  66.   `jdbc_driver_class` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'jdbc驱动类',
  67.   `status` tinyint(1) NOT NULL DEFAULT 1 COMMENT '状态：0删除 1启用 2禁用',
  68.   `create_by` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  69.   `create_date` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT '创建时间',
  70.   `update_by` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  71.   `update_date` datetime(0) NULL DEFAULT NULL COMMENT '更新时间',
  72.   `comments` varchar(1000) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '备注',
  73.   PRIMARY KEY (`id`) USING BTREE
  74. ) ENGINE = InnoDB AUTO_INCREMENT = 6 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = 'jdbc数据源配置' ROW_FORMAT = Dynamic;
  77. -- ----------------------------
  78. -- Table structure for job_lock
  79. -- ----------------------------
  80. DROP TABLE IF EXISTS `job_lock`;
  81. CREATE TABLE `job_lock`  (
  82.   `lock_name` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '锁名称',
  83.   PRIMARY KEY (`lock_name`) USING BTREE
  84. ) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  86. -- ----------------------------
  87. -- Records of job_lock
  88. -- ----------------------------
  89. INSERT INTO `job_lock` VALUES ('schedule_lock');
  91. -- ----------------------------
  92. -- Table structure for job_log
  93. -- ----------------------------
  94. DROP TABLE IF EXISTS `job_log`;
  95. CREATE TABLE `job_log`  (
  96.   `id` bigint(20) NOT NULL AUTO_INCREMENT,
  97.   `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  98.   `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  99.   `job_desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  100.   `executor_address` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器地址，本次执行的地址',
  101.   `executor_handler` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务handler',
  102.   `executor_param` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务参数',
  103.   `executor_sharding_param` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',
  104.   `executor_fail_retry_count` int(11) NULL DEFAULT 0 COMMENT '失败重试次数',
  105.   `trigger_time` datetime(0) NULL DEFAULT NULL COMMENT '调度-时间',
  106.   `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
  107.   `trigger_msg` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT '调度-日志',
  108.   `handle_time` datetime(0) NULL DEFAULT NULL COMMENT '执行-时间',
  109.   `handle_code` int(11) NOT NULL COMMENT '执行-状态',
  110.   `handle_msg` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT '执行-日志',
  111.   `alarm_status` tinyint(4) NOT NULL DEFAULT 0 COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',
  112.   `process_id` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'datax进程Id',
  113.   `max_id` bigint(20) NULL DEFAULT NULL COMMENT '增量表max id',
  114.   PRIMARY KEY (`id`) USING BTREE,
  115.   INDEX `I_trigger_time`(`trigger_time`) USING BTREE,
  116.   INDEX `I_handle_code`(`handle_code`) USING BTREE
  117. ) ENGINE = InnoDB AUTO_INCREMENT = 0 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  119. -- ----------------------------
  120. -- Table structure for job_log_report
  121. -- ----------------------------
  122. DROP TABLE IF EXISTS `job_log_report`;
  123. CREATE TABLE `job_log_report`  (
  124.   `id` int(11) NOT NULL AUTO_INCREMENT,
  125.   `trigger_day` datetime(0) NULL DEFAULT NULL COMMENT '调度-时间',
  126.   `running_count` int(11) NOT NULL DEFAULT 0 COMMENT '运行中-日志数量',
  127.   `suc_count` int(11) NOT NULL DEFAULT 0 COMMENT '执行成功-日志数量',
  128.   `fail_count` int(11) NOT NULL DEFAULT 0 COMMENT '执行失败-日志数量',
  129.   PRIMARY KEY (`id`) USING BTREE,
  130.   UNIQUE INDEX `i_trigger_day`(`trigger_day`) USING BTREE
  131. ) ENGINE = InnoDB AUTO_INCREMENT = 28 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  133. -- ----------------------------
  134. -- Records of job_log_report
  135. -- ----------------------------
  136. INSERT INTO `job_log_report` VALUES (20, '2019-12-07 00:00:00', 0, 0, 0);
  137. INSERT INTO `job_log_report` VALUES (21, '2019-12-10 00:00:00', 77, 52, 23);
  138. INSERT INTO `job_log_report` VALUES (22, '2019-12-11 00:00:00', 9, 2, 11);
  139. INSERT INTO `job_log_report` VALUES (23, '2019-12-13 00:00:00', 9, 48, 74);
  140. INSERT INTO `job_log_report` VALUES (24, '2019-12-12 00:00:00', 10, 8, 30);
  141. INSERT INTO `job_log_report` VALUES (25, '2019-12-14 00:00:00', 78, 45, 66);
  142. INSERT INTO `job_log_report` VALUES (26, '2019-12-15 00:00:00', 24, 76, 9);
  143. INSERT INTO `job_log_report` VALUES (27, '2019-12-16 00:00:00', 23, 85, 10);
  145. -- ----------------------------
  146. -- Table structure for job_logglue
  147. -- ----------------------------
  148. DROP TABLE IF EXISTS `job_logglue`;
  149. CREATE TABLE `job_logglue`  (
  150.   `id` int(11) NOT NULL AUTO_INCREMENT,
  151.   `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  152.   `glue_type` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'GLUE类型',
  153.   `glue_source` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT 'GLUE源代码',
  154.   `glue_remark` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'GLUE备注',
  155.   `add_time` datetime(0) NULL DEFAULT NULL,
  156.   `update_time` datetime(0) NULL DEFAULT NULL,
  157.   PRIMARY KEY (`id`) USING BTREE
  158. ) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  160. -- ----------------------------
  161. -- Table structure for job_registry
  162. -- ----------------------------
  163. DROP TABLE IF EXISTS `job_registry`;
  164. CREATE TABLE `job_registry`  (
  165.   `id` int(11) NOT NULL AUTO_INCREMENT,
  166.   `registry_group` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  167.   `registry_key` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  168.   `registry_value` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  169.   `update_time` datetime(0) NULL DEFAULT NULL,
  170.   PRIMARY KEY (`id`) USING BTREE,
  171.   INDEX `i_g_k_v`(`registry_group`, `registry_key`, `registry_value`) USING BTREE
  172. ) ENGINE = InnoDB AUTO_INCREMENT = 26 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  176. -- ----------------------------
  177. -- Table structure for job_user
  178. -- ----------------------------
  179. DROP TABLE IF EXISTS `job_user`;
  180. CREATE TABLE `job_user`  (
  181.   `id` int(11) NOT NULL AUTO_INCREMENT,
  182.   `username` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '账号',
  183.   `password` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '密码',
  184.   `role` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '角色：0-普通用户、1-管理员',
  185.   `permission` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',
  186.   PRIMARY KEY (`id`) USING BTREE,
  187.   UNIQUE INDEX `i_username`(`username`) USING BTREE
  188. ) ENGINE = InnoDB AUTO_INCREMENT = 10 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  190. -- ----------------------------
  191. -- Records of job_user
  192. -- ----------------------------
  193. INSERT INTO `job_user` VALUES (1, 'admin', '$2a$10$2KCqRbra0Yn2TwvkZxtfLuWuUP5KyCWsljO/ci5pLD27pqR3TV1vy', 'ROLE_ADMIN', NULL);
  197. /**
  198. v2.1.1脚本更新
  199. */
  200. ALTER TABLE `job_info`
  201. ADD COLUMN `replace_param` VARCHAR(100) NULL DEFAULT NULL COMMENT '动态参数' AFTER `job_json`,
  202. ADD COLUMN `jvm_param` VARCHAR(200) NULL DEFAULT NULL COMMENT 'jvm参数' AFTER `replace_param`,
  203. ADD COLUMN `time_offset` INT(11) NULL DEFAULT '0'COMMENT '时间偏移量'  AFTER `jvm_param`;
  204. /**
  205. 增量改版脚本更新
  206. */
  207. ALTER TABLE `job_info` DROP COLUMN `time_offset`;
  208. ALTER TABLE `job_info`
  209. ADD COLUMN `inc_start_time` DATETIME NULL DEFAULT NULL COMMENT '增量初始时间' AFTER `jvm_param`;
  211. -- ----------------------------
  212. -- Table structure for job_template
  213. -- ----------------------------
  214. DROP TABLE IF EXISTS `job_template`;
  215. CREATE TABLE `job_template`  (
  216.   `id` int(11) NOT NULL AUTO_INCREMENT,
  217.   `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  218.   `job_cron` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '任务执行CRON',
  219.   `job_desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  220.   `add_time` datetime(0) NULL DEFAULT NULL,
  221.   `update_time` datetime(0) NULL DEFAULT NULL,
  222.   `user_id` int(11) NOT NULL COMMENT '修改用户',
  223.   `alarm_email` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '报警邮件',
  224.   `executor_route_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器路由策略',
  225.   `executor_handler` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务handler',
  226.   `executor_param` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器参数',
  227.   `executor_block_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '阻塞处理策略',
  228.   `executor_timeout` int(11) NOT NULL DEFAULT 0 COMMENT '任务执行超时时间，单位秒',
  229.   `executor_fail_retry_count` int(11) NOT NULL DEFAULT 0 COMMENT '失败重试次数',
  230.   `glue_type` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'GLUE类型',
  231.   `glue_source` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT 'GLUE源代码',
  232.   `glue_remark` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'GLUE备注',
  233.   `glue_updatetime` datetime(0) NULL DEFAULT NULL COMMENT 'GLUE更新时间',
  234.   `child_jobid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
  235.   `trigger_last_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '上次调度时间',
  236.   `trigger_next_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '下次调度时间',
  237.   `job_json` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT 'datax运行脚本',
  238.   `jvm_param` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'jvm参数',
  239.   `project_id` int(11) NULL DEFAULT NULL COMMENT '所属项目Id',
  240.   PRIMARY KEY (`id`) USING BTREE
  241. ) ENGINE = InnoDB AUTO_INCREMENT = 22 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  243. /**
  244. 添加数据源字段
  245. */
  246. ALTER TABLE `job_jdbc_datasource`
  247. ADD COLUMN `datasource` VARCHAR(45) NOT NULL COMMENT '数据源' AFTER `datasource_name`;
  249. /**
  250. 添加分区字段
  251. */
  252. ALTER TABLE `job_info`
  253. ADD COLUMN `partition_info` VARCHAR(100) NULL DEFAULT NULL COMMENT '分区信息' AFTER `inc_start_time`;
  255. /**
  256. 2.1.1版本新增----------------------------------------------------------------------------------------------
  257. */
  259. /**
  260. 最近一次执行状态
  261. */
  262. ALTER TABLE `job_info`
  263. ADD COLUMN `last_handle_code` INT(11) NULL DEFAULT '0' COMMENT '最近一次执行状态' AFTER `partition_info`;
  265. /**
  266. zookeeper地址
  267. */
  268. ALTER TABLE `job_jdbc_datasource`
  269. ADD COLUMN `zk_adress` VARCHAR(200) NULL DEFAULT NULL AFTER `jdbc_driver_class`;
  271. ALTER TABLE `job_info`
  272. CHANGE COLUMN `executor_timeout` `executor_timeout` INT(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位分钟' ;
  274. /**
  275. 用户名密码改为非必填
  276. */
  277. ALTER TABLE `job_jdbc_datasource`
  278. CHANGE COLUMN `jdbc_username` `jdbc_username` VARCHAR(100) CHARACTER SET 'utf8mb4' NULL DEFAULT NULL COMMENT '用户名' ,
  279. CHANGE COLUMN `jdbc_password` `jdbc_password` VARCHAR(200) CHARACTER SET 'utf8mb4' NULL DEFAULT NULL COMMENT '密码' ;
  280. /**
  281. 添加mongodb数据库名字段
  282. */
  283. ALTER TABLE `job_jdbc_datasource`
  284. ADD COLUMN `database_name` VARCHAR(45) NULL DEFAULT NULL COMMENT '数据库名' AFTER `datasource_group`;
  285. /**
  286. 添加执行器资源字段
  287. */
  288. ALTER TABLE `job_registry`
  289. ADD COLUMN `cpu_usage` DOUBLE NULL AFTER `registry_value`,
  290. ADD COLUMN `memory_usage` DOUBLE NULL AFTER `cpu_usage`,
  291. ADD COLUMN `load_average` DOUBLE NULL AFTER `memory_usage`;
  293. -- ----------------------------
  294. -- Table structure for job_permission
  295. -- ----------------------------
  296. DROP TABLE IF EXISTS `job_permission`;
  297. CREATE TABLE `job_permission`  (
  298.   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
  299.   `name` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '权限名',
  300.   `description` varchar(11) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '权限描述',
  301.   `url` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  302.   `pid` int(11) NULL DEFAULT NULL,
  303.   PRIMARY KEY (`id`) USING BTREE
  304. ) ENGINE = InnoDB AUTO_INCREMENT = 3 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  308. ALTER TABLE `job_info`
  309. ADD COLUMN `replace_param_type` varchar(255) NULL COMMENT '增量时间格式' AFTER `last_handle_code`;
  312. ALTER TABLE `job_info`
  313. ADD COLUMN `project_id` int(11) NULL COMMENT '所属项目id' AFTER `job_desc`;
  315. ALTER TABLE `job_info`
  316. ADD COLUMN `reader_table` VARCHAR(255) NULL COMMENT 'reader表名称' AFTER `replace_param_type`,
  317. ADD COLUMN `primary_key` VARCHAR(50) NULL COMMENT '增量表主键' AFTER `reader_table`,
  318. ADD COLUMN `inc_start_id` VARCHAR(20) NULL COMMENT '增量初始id' AFTER `primary_key`,
  319. ADD COLUMN `increment_type` TINYINT(4) NULL COMMENT '增量类型' AFTER `inc_start_id`,
  320. ADD COLUMN `datasource_id` BIGINT(11) NULL COMMENT '数据源id' AFTER `increment_type`;
  322. CREATE TABLE `job_project`  (
  323.   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'key',
  324.   `name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'project name',
  325.   `description` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  326.   `user_id` int(11) NULL DEFAULT NULL COMMENT 'creator id',
  327.   `flag` tinyint(4) NULL DEFAULT 1 COMMENT '0 not available, 1 available',
  328.   `create_time` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT 'create time',
  329.   `update_time` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT 'update time',
  330.   PRIMARY KEY (`id`) USING BTREE
  331. ) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
  334. ALTER TABLE `job_info`
  335. CHANGE COLUMN `author` `user_id` INT(11) NOT NULL COMMENT '修改用户' ;
  337. ALTER TABLE `job_info`
  338. CHANGE COLUMN `increment_type` `increment_type` TINYINT(4) NULL DEFAULT 0 COMMENT '增量类型' ;

  复制代码
  
  
• 修改项目相关配置
  在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径
  
  1. vi ./modules/{module_name}/bin/env.properties
  4. ### 执行datax的python脚本地址
  5. # 我的配置地址是这样，修改成自己的datax地址
  6. PYTHON_PATH=/mnt/datax/bin/datax.py
  8. ### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
  9. DATAX_ADMIN_PORT=

  复制代码
• 启动服务
  
  
  
  • 一键启动所有服务，执行以下命令
    
    1. ./bin/start-all.sh

    复制代码
  • 中途可能发生部分模块启动失败或者卡住，可以退出重复执行，如果需要改变某一模块服务端口号，则：
    
    1. vi ./modules/{module_name}/bin/env.properties

    复制代码
  • 找到SERVER_PORT配置项，改变它的值即可。 固然也可以单一地启动某一模块服务：
    
    1. ./bin/start.sh -m {module_name}

    复制代码
  • 一键取消所有服务
    
    1. ./bin/stop-all.sh

    复制代码
  • 固然也可以单一地停止某一模块服务：
    
    1. ./bin/stop.sh -m {module_name}

    复制代码
  
  
• 查看服务（注意！注意！）
  
  
  
  • 在Linux环境下利用JPS命令，查看是否出现DataXAdminApplication和DataXExecutorApplication进程，如果存在这表示项目运行乐成
    
  • 如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out
    
  
  
• 访问datax web地址
  部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口）
  输入用户名 admin 密码 123456 就可以直接访问系统
  出现以下界面阐明项目可以正常访问
  
  
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4