ToB企服应用市场:ToB评测及商务社交产业平台

标题: 办理高版本flink cdc connector缺少依靠的题目 [打印本页]
作者: 种地    时间: 2024-11-3 18:58
标题: 办理高版本flink cdc connector缺少依靠的题目
1. 弁言

   题目：非完整包导致缺少依靠
  在Flink作业的开辟场景中，我们大概会经常利用到许多的一些cdc connector，例如典型的mysql-cdc。一样平常我们都可以从maven仓库去下载，例如：https://mvnrepository.com/artifact/com.ververica/flink-connector-mysql-cdc/2.0.2

从上面的图片，可以看到cdc的jar包是完整的，所以我们的flink作业直接引入，一样平常不会报NoClassDefException，但是，高版本的cdc jar似乎就没有完整包了。

那么怎样获取cdc jar的全部依靠呢？下面继续讲解。
2. 办理方案

2.1 方案一：maven-dependency-plugin插件下载依靠

先创建一个空的maven项目，没有任何内容，只有一个pom文件，文件内容如下（注意：只有一个依靠）：
  1. <project xmlns="http://maven.apache.org/POM/4.0.0"
  2.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  4.   <modelVersion>4.0.0</modelVersion>
  5.   <groupId>org.apache.flink</groupId>
  6.   <artifactId>flink-connector-mysql-cdc</artifactId>
  7.   <version>3.1.1-with-dependencies</version>
  9.   <dependencies>
  10.     <dependency>
  11.       <groupId>org.apache.flink</groupId>
  12.       <artifactId>flink-connector-mysql-cdc</artifactId>
  13.       <version>3.1.1</version>
  14.     </dependency>
  15.   </dependencies>
  17.   <build>
  18.     <plugins>
  19.       <plugin>
  20.         <groupId>org.apache.maven.plugins</groupId>
  21.         <artifactId>maven-dependency-plugin</artifactId>
  22.         <version>3.1.2</version>
  23.         <executions>
  24.           <execution>
  25.             <id>copy-dependencies</id>
  26.             <phase>package</phase>
  27.             <goals>
  28.               <goal>copy-dependencies</goal>
  29.             </goals>
  30.             <configuration>
  31.               <outputDirectory>${project.build.directory}/lib</outputDirectory>
  32.               <includeScope>runtime</includeScope>
  33.             </configuration>
  34.           </execution>
  35.         </executions>
  36.       </plugin>
  37.     </plugins>
  38.   </build>
  39. </project>
复制代码

然后执行如下命令下载：
  1. mvn clean package
复制代码
构建乐成，可以在项目的目录有一个target，内里有一个lib目录，这些就是cdc jar全部的依靠了：

2.1 方案二：maven-shade-plugin插件打包完整jar

pom的内容如下：
  1. <project xmlns="http://maven.apache.org/POM/4.0.0"
  2.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  4.   <modelVersion>4.0.0</modelVersion>
  5.   <groupId>org.apache.flink</groupId>
  6.   <artifactId>flink-connector-mysql-cdc</artifactId>
  7.   <version>3.1.1-with-dependencies</version>
  9.   <dependencies>
  10.     <dependency>
  11.       <groupId>org.apache.flink</groupId>
  12.       <artifactId>flink-connector-mysql-cdc</artifactId>
  13.       <version>3.1.1</version>
  14.     </dependency>
  15.   </dependencies>
  17.   <build>
  18.     <plugins>
  19.       <plugin>
  20.         <groupId>org.apache.maven.plugins</groupId>
  21.         <artifactId>maven-shade-plugin</artifactId>
  22.         <version>3.2.4</version>
  23.         <executions>
  24.           <execution>
  25.             <phase>package</phase>
  26.             <goals>
  27.               <goal>shade</goal>
  28.             </goals>
  29.             <configuration>
  30.               <outputFile>${project.build.directory}/${project.artifactId}-with-dependencies.jar</outputFile>
  31.             </configuration>
  32.           </execution>
  33.         </executions>
  34.       </plugin>
  35.     </plugins>
  36.   </build>
  38. </project>
复制代码
同样执行如下命令：
  1. mvn clean package
复制代码

在本地，也能看到它的体积是比较大的：

3. 文末

本文主要讲解高版本flink cdc连接其缺少依靠的题目，主要利用“dependency”以及“shade”插件来打包，希望能资助到各人，谢谢各人的阅读，本文完！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4