seatunnel及web安装常见问题与解决方法

seatunnel及web的正常安装流程见
Seatunnel及web搭建流程-CSDN博客
一步一步按照以上博客流程进行安装，正常环境下能顺遂跑通seatunnel及web的demo。
此博客为安装过程中遇到的一些棘手问题总结。


常见错误问题

正常安装后，都会遇到报错，下面是总结的一些常见的异常问题
1.java.lang.NoClassDefFoundError: com/sun/jersey/client/impl/CopyOnWriteHashMap

主要原因是，hadoop相关的jar包找不到，需要将jar包放到lib下。
将seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar放到seatunnel的lib包下即可。下载方法见文章反面的具体介绍。

2.SqlServer-cdc的jar包安全问题

利用高版本的mssql的jdbc的jar包时，有安全查抄机制，会导致进行利用seatunnel的sqlserver-cdc时报异常：

1. Caused by: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target

复制代码

我利用的是mssql-jdbc-11.2.3.jre8.jar，效果不停报异常，添加了trustServerCertificate=true;encrypt=true参数也会报错（只针对seatunnel的SqlServer-cdc场景，在jdbc场景利用此jar包正常），经过查看源码与issue，发现源码中是低版本mssql-jdbc-9.4.1.jre8.jar，替换此jar包后SqlServer-cdc在SqlServer2016上能够实现cdc功能。
有的同学利用的是mssgl-jdbc-9.2.0.jre8.jar，也可以实现SqlServer-cdc功能。
jar包下载地址Central Repository: com/microsoft/sqlserver/mssql-jdbc

3.SqlServer 2016无法开启表的cdc

安装流程CDC 使命数据源权限配置 - SqlServer 权限配置 - 《EasyData用户手册》进行开启SqlServer 2016的cdc功能时，遇到问题是：可以开启SqlServer的库的cdc，但是在开启表的cdc时，不停无法实行成功，一个可能得原因是，计算机的名称发生了变化，需要将计算机的名称还原到安装SqlServer 2016的时间的名称。
sql - 在表级别启用CDC时堕落 - Thinbug


mvn加速下载seatunnel相关jar包

安装seatunnel过程中，解压文件后官方默认提供的connector的jar包只有2个，要想毗连mysql，oracle，SqlServer，hive，kafka，clickhouse，doris等时，还需下载对应的jar包。

如果机器可以毗连外网，可利用命令方式sh bin/install-plugin.sh直接下载，这个命令会 自动下载文件apache-seatunnel-2.3.3/connectors/plugin-mapping.properties中指定的全部connector的jar包，每个人可根据自己环境自行增减需要的connector依赖包。

加速下载connector相关jar包

seatunnel下载connector的jar时，利用mvnw来下载jar包，而且是从https://repo.maven.apache.org 下载，速率及其缓慢，且公司机器不能上外网，改用自己windows本地的mvn，从阿里云mvn源下载。
 
修改其安装插件相关脚本，复制bin目录下install-plugin.sh重命名为install-plugin-mvn.sh

替换脚本中的${SEATUNNEL_HOME}/mvnw为mvn，即可利用本地mvn，共同阿里云的mvn源，可加速下载。

然后实行install-plugin-mvn.sh即可。原本2个小时没有下载完成的，改写后几分钟下载完成了。

将下载后的jar包复制到connectors/seatunnel/下即完成connector的jar包增补。

注意：在安装seatunnel的时间可能会出现java.lang.NoClassDefFoundError错误，大部分时间是因为缺少apache hadoop的jar包，在实行install-plugin-mvn.sh的时间会下载一个jar包seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar，存放于上一级目录的lib文件夹下，如果是在其他路径下载jar包，将下载的seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar放在seatunnel的lib文件夹下，然后就可以解决这个问题了。

datasource相关jar包

安装好seatunnel-web1.0.0后，新建数据源时，无下拉框和数据源选项，

 查找资料中官方大佬给出的解决方式如下：
[Improve] Add "download_datasource.sh" for downloading datasource. by FlechazoW · Pull Request #136 · apache/seatunnel-web · GitHub
注意，这里的解决方式需要下载最新的seatunnel-web源代码，实行download_datasource.sh下载数据源jar包

查看源代码，也是利用mvnw的方式下载，windows上进行修改
download_datasource.sh复制到 D:\jar\seatunnel\script后改名为download_datasource-mvn.sh，替换"$SEATUNNEL_WEB_HOME"/mvnw为本地环境变量中配置好的mvn

实行sh download_datasource-mvn.sh命令就会将jar包下载到相应为文件夹中

下载完成后，将相应的jar包放置到apache-seatunnel-web的libs下，重启之后，显示正常

注意事项

1.元数据和数据源的jar包还需要要复制到后端lib文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3/lib
否则在配置好web使命时，后台根本不实行！！！

2.有的同学各种准备工作都做好了，还是不显示数据源，这个时间把后端的connectors和plugins相关jar包放到web下的lib下再试试。



相关问题

1.配置阿里云mvn源加速

 如何配置的阿里云mvn源
Maven如何配置阿里镜像及安装全步骤_maven配置阿里云镜像-CSDN博客

2.如安在windows环境下实行shell命令

因为全部linux机器不能外网，先在windows下实行shell脚本，下载jar包，然后复制到相关机器即可。如安在windows下实行shell命令，可参考下面的文章。
Windows中运行Linux命令的6种方法

https://www.eet-china.com/mp/a228539.html



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。