DolphinScheduler JavaTask动态传参秘笈：轻松实现使命间数据流动 ...

大号在练葵花宝典  金牌会员 | 2024-11-26 14:26:34 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 845|帖子 845|积分 2535

Apache DolphinScheduler的JavaTask可以通过在使命执行日记中输出特定格式的参数来支持OUT参数的下游传输，通过捕获日记并将其作为参数传递给下游使命。这种机制允许使命间的数据流动和通信，增强了工作流的灵活性和动态性。
那详细要怎么做呢？本文将举行详细的讲解。
0 修改一行源码
  1. org.apache.dolphinscheduler.plugin.task.java.JavaTask
复制代码

1、针对JAVA类

流程定义图


1.1、javaTaskForClass设置


1.2、taskA设置


1.3、taskA输出
  1. INFO] 2024-07-11 21:38:46.121 +0800 - Set taskVarPool: [{"prop":"output","direct":"IN","type":"VARCHAR","value":"123"}] successfully
  2. [INFO] 2024-07-11 21:38:46.121 +0800 - ***********************************************************************************************
  3. [INFO] 2024-07-11 21:38:46.121 +0800 - *********************************  Execute task instance  *************************************
  4. [INFO] 2024-07-11 21:38:46.122 +0800 - ***********************************************************************************************
  5. [INFO] 2024-07-11 21:38:46.122 +0800 - Final Shell file is:
  6. [INFO] 2024-07-11 21:38:46.122 +0800 - ****************************** Script Content *****************************************************************
  7. [INFO] 2024-07-11 21:38:46.122 +0800 - #!/bin/bash
  8. BASEDIR=$(cd `dirname $0`; pwd)
  9. cd $BASEDIR
  10. source /etc/profile
  11. export HADOOP_HOME=${HADOOP_HOME:-/home/hadoop-3.3.1}
  12. export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
  13. export SPARK_HOME=${SPARK_HOME:-/home/spark-3.2.1-bin-hadoop3.2}
  14. export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
  15. export HIVE_HOME=${HIVE_HOME:-/home/hive-3.1.2}
  16. export FLINK_HOME=/home/flink-1.18.1
  17. export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
  18. export SEATUNNEL_HOME=/opt/software/seatunnel
  19. export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}
  21. export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH
  22. echo 123
  23. [INFO] 2024-07-11 21:38:46.123 +0800 - ****************************** Script Content *****************************************************************
  24. [INFO] 2024-07-11 21:38:46.123 +0800 - Executing shell command : sudo -u root -i /tmp/dolphinscheduler/exec/process/root/13850571680800/14237629094560_9/2095/1689/2095_1689.sh
  25. [INFO] 2024-07-11 21:38:46.127 +0800 - process start, process id is: 884510
  26. [INFO] 2024-07-11 21:38:48.127 +0800 -  ->
  27.     123
  28. [INFO] 2024-07-11 21:38:48.128 +0800 - process has exited. execute path:/tmp/dolphinscheduler/exec/process/root/13850571680800/14237629094560_9/2095/1689, processId:884510 ,exitStatusCode:0 ,processWaitForStatus:true ,processExitValue:0
复制代码
2、针对JAR

2.1、jar包封装示例


  • 2.1.1、pom.xml
  1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  2.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  3.   <modelVersion>4.0.0</modelVersion>
  5.   <groupId>demo</groupId>
  6.   <artifactId>java-demo</artifactId>
  7.   <version>1.0-SNAPSHOT</version>
  8.   <packaging>jar</packaging>
  10.   <name>java-demo</name>
  11.   <url>http://maven.apache.org</url>
  13.   <properties>
  14.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  15.   </properties>
  17.   <dependencies>
  18.     <dependency>
  19.       <groupId>junit</groupId>
  20.       <artifactId>junit</artifactId>
  21.       <version>3.8.1</version>
  22.       <scope>test</scope>
  23.     </dependency>
  24.   </dependencies>
  26.   <build>
  27.     <plugins>
  28.       <plugin>
  29.         <groupId>org.apache.maven.plugins</groupId>
  30.         <artifactId>maven-shade-plugin</artifactId>
  31.         <version>3.2.4</version>
  32.         <executions>
  33.           <execution>
  34.             <phase>package</phase>
  35.             <goals>
  36.               <goal>shade</goal>
  37.             </goals>
  38.             <configuration>
  39.               <artifactSet>
  40.                 <excludes>
  41.                   <exclude>com.google.code.findbugs:jsr305</exclude>
  42.                   <exclude>org.slf4j:*</exclude>
  43.                   <exclude>log4j:*</exclude>
  44.                   <exclude>org.apache.hadoop:*</exclude>
  45.                 </excludes>
  46.               </artifactSet>
  47.               <filters>
  48.                 <filter>
  49.                   
  50.                   <artifact>*:*</artifact>
  51.                   <excludes>
  52.                     <exclude>META-INF/*.SF</exclude>
  53.                     <exclude>META-INF/*.DSA</exclude>
  54.                     <exclude>META-INF/*.RSA</exclude>
  55.                   </excludes>
  56.                 </filter>
  57.               </filters>
  58.               <transformers combine.children="append">
  59.                 <transformer
  60.                         implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
  61.                   <mainClass>demo.Demo</mainClass>
  62.                 </transformer>
  63.               </transformers>
  64.             </configuration>
  65.           </execution>
  66.         </executions>
  67.       </plugin>
  68.       <plugin>
  69.         <groupId>org.apache.maven.plugins</groupId>
  70.         <artifactId>maven-compiler-plugin</artifactId>
  71.         <configuration>
  72.           <source>1.8</source>
  73.           <target>1.8</target>
  74.         </configuration>
  75.       </plugin>
  76.     </plugins>
  77.   </build>
  78. </project>
复制代码

  • 2.1.2、demo.Demo类详细内容
  1. package demo;
  3. public class Demo {
  5.     public static void main(String[] args) {
  6.         System.out.println("${setValue(output=123)}");
  7.     }
  8. }
复制代码

  • 2.1.3、上传jar到资源中央
mvn clean package，将编译好的java-demo-1.0-SNAPSHOT.jar上传到资源中央，
2.2、流程定义图


2.3、javaTask


2.4、testTask


2.5、testTask内容输出
  1. [INFO] 2024-07-11 21:56:05.324 +0800 - Set taskVarPool: [{"prop":"output","direct":"IN","type":"VARCHAR","value":"123"}] successfully
  2. [INFO] 2024-07-11 21:56:05.324 +0800 - ***********************************************************************************************
  3. [INFO] 2024-07-11 21:56:05.324 +0800 - *********************************  Execute task instance  *************************************
  4. [INFO] 2024-07-11 21:56:05.324 +0800 - ***********************************************************************************************
  5. [INFO] 2024-07-11 21:56:05.325 +0800 - Final Shell file is:
  6. [INFO] 2024-07-11 21:56:05.325 +0800 - ****************************** Script Content *****************************************************************
  7. [INFO] 2024-07-11 21:56:05.325 +0800 - #!/bin/bash
  8. BASEDIR=$(cd `dirname $0`; pwd)
  9. cd $BASEDIR
  10. source /etc/profile
  11. export HADOOP_HOME=${HADOOP_HOME:-/home/hadoop-3.3.1}
  12. export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
  13. export SPARK_HOME=${SPARK_HOME:-/home/spark-3.2.1-bin-hadoop3.2}
  14. export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
  15. export HIVE_HOME=${HIVE_HOME:-/home/hive-3.1.2}
  16. export FLINK_HOME=/home/flink-1.18.1
  17. export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
  18. export SEATUNNEL_HOME=/opt/software/seatunnel
  19. export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}
  21. export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH
  22. echo 123
  23. [INFO] 2024-07-11 21:56:05.325 +0800 - ****************************** Script Content *****************************************************************
  24. [INFO] 2024-07-11 21:56:05.325 +0800 - Executing shell command : sudo -u root -i /tmp/dolphinscheduler/exec/process/root/13850571680800/14243296570784_1/2096/1691/2096_1691.sh
  25. [INFO] 2024-07-11 21:56:05.329 +0800 - process start, process id is: 885572
  26. [INFO] 2024-07-11 21:56:07.329 +0800 -  
复制代码
转载自Journey
原文链接：https://segmentfault.com/a/1190000045054384
本文由 白鲸开源 提供发布支持！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

大号在练葵花宝典

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表