SeaTunnel 实战: Apache SeaTunnel 安装与部署
提示：本次安装 SeaTunnel及SeaTunnel Web均在一台服务器上部署，集群部署本篇文章步调大概并不适合。一、准备工作
1.1 环境
类目要求（基础环境安装请自行百度）操作系统CentOS 7.6.18_x86_64 内核 3.10.0-1160.el7.x86_64JavaJava 8 或 11， 其他高于Java 8的版本理论上也可以工作， 以及设置 JAVA_HOMEMaven版本>= 3.6.3数据库Mysql 8.x 1.2 下载
进入 SeaTunnel 下载页面 下载最新版本的发布版安装包
https://i-blog.csdnimg.cn/direct/2533b9d08d834ff690d6ee9a4c1bc0f0.png
目前 SeaTunnel 最新版本为 2.3.6 版本。
https://i-blog.csdnimg.cn/direct/93b6a9bcab684844a1e8ad6338e757c3.png
目前 SeaTunnel Web最新版本为 1.0.1 版本。
所下载的安装包如下：
https://i-blog.csdnimg.cn/direct/9fb179b6222448c4bb5875d11df4d7df.png
二、SeaTunnel安装
2.1 解压安装包
tar -xvf apache-seatunnel-2.3.6-bin.tar.gz
2.2.设置环境变量
https://i-blog.csdnimg.cn/direct/60362cc780c2445e9613f0bba2e0e030.png
export SEATUNNEL_HOME=/seatunnel/apache-seatunnel-2.3.6
export PATH=$SEATUNNEL_HOME/bin:$PATH
2.3.设置立刻生效
source /etc/profile
2.4 下载SeaTunnel相干jar包
安装SeaTunnel过程中，解压文件后官方默认提供的connector的jar包只有2个，如下图所示：
https://i-blog.csdnimg.cn/direct/3d1af35c9c114ac4856782187bde5247.png
要想连接Mysql，Oracle，SqlServer，Hive，Kafka，Clickhouse，Doris等时，还需下载对应的jar包。
SeaTunnel下载connector的jar时，使用mvnw来下载jar包，默认是从https://repo.maven.apache.org 下载，速率有点慢，确实是有点慢，好处是不消再一个个拷贝Jar包，所以我还是建议用这种方式进行下载。
如果改用maven下载，依赖包会进入maven的仓库，并不会进入SeaTunnel设置的目录下，如果非要这么做，Jar包下载结束后，可以去maven仓库中，一个个拷贝进来。
改为maven下载，只必要对设置文件做一点修改，具体见截图中的文字部门。
https://i-blog.csdnimg.cn/direct/5225d10a346349599ac74b64f5815421.png
系统默认自动下载时会下载 plugin_config 文件中的所有连接器，路径如下：
/seatunnel/apache-seatunnel-2.3.6/config
/plugin_config
如果暂时不必要这么多依赖， 可以在实行下载脚本之前先在 plugin_config 设置中注释掉不必要的连接器。
--connectors-v2--
connector-amazondynamodb
connector-assert
connector-cassandra
connector-cdc-mysql
connector-cdc-mongodb
connector-cdc-sqlserver
connector-cdc-postgres
connector-cdc-oracle
connector-clickhouse
connector-datahub
connector-dingtalk
connector-doris
connector-elasticsearch
connector-email
connector-file-ftp
connector-file-hadoop
connector-file-local
connector-file-oss
connector-file-jindo-oss
connector-file-s3
connector-file-sftp
connector-file-obs
connector-google-sheets
connector-google-firestore
connector-hive
connector-http-base
connector-http-feishu
connector-http-gitlab
connector-http-github
connector-http-jira
connector-http-klaviyo
connector-http-lemlist
connector-http-myhours
connector-http-notion
connector-http-onesignal
connector-http-wechat
connector-hudi
connector-iceberg
connector-influxdb
connector-iotdb
connector-jdbc
connector-kafka
connector-kudu
connector-maxcompute
connector-mongodb
connector-neo4j
connector-openmldb
connector-pulsar
connector-rabbitmq
connector-redis
connector-druid
connector-s3-redshift
connector-sentry
connector-slack
connector-socket
connector-starrocks
connector-tablestore
connector-selectdb-cloud
connector-hbase
connector-amazonsqs
connector-easysearch
connector-paimon
connector-rocketmq
connector-tdengine
connector-web3j
connector-milvus
可以看到 2.3.6版本支持的连接器比2.3.5版本多了许多，Apache出品，必属精品。
实行下载命令
/seatunnel/apache-seatunnel-2.3.6/bin/install-plugin.sh
下载过程耗时比较长，可以去划个水先，耐烦等候即可
实行完毕之后，会有类似于下图的效果表现页。
https://i-blog.csdnimg.cn/direct/1c7a3e6729554c55b30c343ccb50c99b.png
自动下载完成之后， 将 /seatunnel/apache-seatunnel-2.3.6/connectors
https://i-blog.csdnimg.cn/direct/2097128998a74dd2977a4b5e82d126ad.png
下所有的jar包都拷贝到 /seatunnel/apache-seatunnel-2.3.6/lib 目录下
https://i-blog.csdnimg.cn/direct/f35f770177bb4d2b8d8d60b8d02ad1e4.png
2.5 测试验证
#进入SeaTunnel bin目录 启动服务
./seatunnel.sh --config../config/v2.batch.config.template -e local
看到如下页面，证明设置没有题目，就可以启动 Seatunnel 服务了。
https://i-blog.csdnimg.cn/direct/8ae6a9d5bd014e1b8acf75b3e4d90357.png
2.6 启动服务
#进入SeaTunnel bin目录 启动服务
nohup sh seatunnel-cluster.sh 2>&1 &
在seatunnel的安装目录下查看日记
tail -100f logs/seatunnel-engine-server.log
看到如下所示页面，即标识启动成功。
https://i-blog.csdnimg.cn/direct/c191f9f4e3ae48c6a92c63c5728506fd.png
三、SeaTunnel Web 1.0.1安装
3.1 将下载的压缩包解压缩到指定目录下
tar -xvf apache-seatunnel-web-1.0.1-bin.tar.gz
重定名下
mv apache-seatunnel-web-1.0.1-bin apache-seatunnel-web-1.0.1
3.2 设置 SeaTunnel Web 环境变量
export SEATUNNEL_WEB_HOME=/seatunnel/apache-seatunnel-web-1.0.1
export PATH=${SEATUNNEL_WEB_HOME}/bin:$PATH
3.3 初始化数据库
数据库脚本路径
/seatunnel/apache-seatunnel-web-1.0.1/script
https://i-blog.csdnimg.cn/direct/4256abee0dd84f66a55151d51b05dcea.png
这里我直接选择跳过 init_sql.sh 初始化数据库的脚本，直接navicat 实行 seatunnel_server_mysql.sql。
实行成功，会创建seatunnel的数据库，及数据表的导入。
https://i-blog.csdnimg.cn/direct/74088daa808a4872a0e0bfbc27b798a3.png
3.4 修改端口与数据源
设置文件 application.yml 路径
/seatunnel/apache-seatunnel-web-1.0.1/conf
https://i-blog.csdnimg.cn/direct/7c2600aa2d004f1db150cb3ebecb5e8b.png
https://i-blog.csdnimg.cn/direct/d22b47d6489942d2b746512e8fcf7cc5.png
3.5 修改secretKey（很重要）
我专门写了代码，生成这个secretKey，直接也附上吧。
<dependency>
<groupId>io.jsonwebtoken</groupId>
<artifactId>jjwt-api</artifactId>
<version>0.11.2</version>
</dependency>
<dependency>
<groupId>io.jsonwebtoken</groupId>
<artifactId>jjwt-impl</artifactId>
<version>0.11.2</version>
</dependency>
public static void main(String[] args) {
SecretKey secretKey = Keys.secretKeyFor(SignatureAlgorithm.HS256);
String key =Base64.getEncoder().encodeToString(secretKey.getEncoded());
System.out.println(key);
}
生成的key，填写到 secretKey 的位置。
https://i-blog.csdnimg.cn/direct/1e2801f64ceb43fdb43967eb2fecc6d9.png
3.6 设置引擎服务信息
复制引擎服务中设置文件到 Web 设置目录下面。将 hazelcast-client 设置文件拷贝到 Web 的 conf 目录下：
/seatunnel/apache-seatunnel-2.3.6/config
将插件设置文件拷贝到 Web 的 conf 目录下：
/seatunnel/apache-seatunnel-2.3.6/connectors
全部拷贝至Web 的 conf 目录下：
/seatunnel/apache-seatunnel-web-1.0.1/conf
https://i-blog.csdnimg.cn/direct/4c79ee0e165940ef925181e9f55c2fc6.png
3.7 下载设置数据源JAR包
download_datasource.sh 数据源脚本在
https://i-blog.csdnimg.cn/direct/eed4e6665e83445ab636263ae995aaec.png
根据你的必要选择必要下载的数据源，如果不下载在 Web 中设置数据源时会提示没有可用的数据源，记得修改版本号为1.0.1，这个我估计是版本更新留下的bug，默认是1.0.0。
https://i-blog.csdnimg.cn/direct/6fd1ac9b940e4ee6bebe708571365271.png
修改为用maven进行下载。
https://i-blog.csdnimg.cn/direct/d7e063533878423eba21d136367a9744.png
实行脚本 download_datasource.sh，在下面的路径下
/seatunnel/apache-seatunnel-web-1.0.1/bin
./download_datasource.sh
实行完成，会看到下面的表现。
https://i-blog.csdnimg.cn/direct/5def6114561640d3abc0a6647c0537f3.png
接纳这种方式下载的，数据源包还是会先辈到 maven 仓库里面，然后再一个个拷贝进来。
https://i-blog.csdnimg.cn/direct/570b462c856549189aa06c18b31dcd11.png
3.9 上传到Seatunnel-Web项目的libs目录
将以上所有jar包复制到 /seatunnel/apache-seatunnel-web-1.0.1/libs 目录下
https://i-blog.csdnimg.cn/direct/415dde141e8b47269e17fbc90345bbd7.png
3.8 设置元数据MySQL的驱动JAR包
MySQL的驱动包 mysql-connector-java-8.0.30.jar 自行下载，copy到/seatunnel/apache-seatunnel-web-1.0.1/libs 目录下。
https://i-blog.csdnimg.cn/direct/519831b16659442ab2c3c13e2c3f5a49.png
3.9 上传到Seatunnel引擎服务的lib目录
将 mysql-connector-java-8.0.30.jar 包复制到/seatunnel/apache-seatunnel-2.3.6/lib下
https://i-blog.csdnimg.cn/direct/a16027bc6b5c4d2cb27b5dea12d5526e.png
3.10 启动WEB服务
启动服务必须要包管服务可以访问到ui目录下的index.html文件才可以，由于项目启动前端的项目路径默认添加了/ui的前缀，所以后端项目的启动路径必须在ui目录的父级目录才可以，所以这里必要再web服务的安装目录下实行启动脚本。
我这里的安装目录是/seatunnel/apache-seatunnel-web-1.0.1，所以我这里直接切换到该目录下，实行以下启动命令：
#进入web服务的安装目录
cd /seatunnel/apache-seatunnel-web-1.0.1
#执行启动脚本
sh bin/seatunnel-backend-daemon.sh start
访问http://主机IP:8801(此端口为conf/application.yml中设置的端口), 页面自动跳转到http://主机IP:8801/ui，
默认登录的用户名和暗码：
username: admin
password: admin
欣赏器访问图示地点，看到如下界面，基本启动就成功了。
https://i-blog.csdnimg.cn/direct/0025318fe83642e5865cd89d5109120c.png
四、排错过程
4.1 nested exception is java.lang.NoClassDefFoundError 错误
org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'connectorCache' defined in URL : Instantiation of bean failed; nested exception is org.springframework.beans.BeanInstantiationException: Failed to instantiate : Constructor threw exception; nested exception is java.lang.NoClassDefFoundError: org/apache/seatunnel/api/table/catalog/schema/TableSchemaOptions
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.instantiateBean(AbstractAutowireCapableBeanFactory.java:1334)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBeanInstance(AbstractAutowireCapableBeanFactory.java:1232)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:582)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:542)
at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:335)
at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:234)
at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:333)
at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:208)
at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:953)
at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:918)
at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:583)
at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.refresh(ServletWebServerApplicationContext.java:145)
at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:745)
at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:420)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:307)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:1317)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:1306)
at org.apache.seatunnel.app.SeatunnelApplication.main(SeatunnelApplication.java:36)
Caused by: org.springframework.beans.BeanInstantiationException: Failed to instantiate : Constructor threw exception; nested exception is java.lang.NoClassDefFoundError: org/apache/seatunnel/api/table/catalog/schema/TableSchemaOptions
at org.springframework.beans.BeanUtils.instantiateClass(BeanUtils.java:224)
at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiate(SimpleInstantiationStrategy.java:87)
at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.instantiateBean(AbstractAutowireCapableBeanFactory.java:1326)
... 17 common frames omitted
Caused by: java.lang.NoClassDefFoundError: org/apache/seatunnel/api/table/catalog/schema/TableSchemaOptions
at org.apache.seatunnel.connectors.seatunnel.amazondynamodb.source.AmazonDynamoDBSourceFactory.optionRule(AmazonDynamoDBSourceFactory.java:45)
at org.apache.seatunnel.api.table.factory.FactoryUtil.sourceFullOptionRule(FactoryUtil.java:256)
at org.apache.seatunnel.plugin.discovery.AbstractPluginDiscovery.lambda$getAllPlugin$5(AbstractPluginDiscovery.java:260)
at java.lang.Iterable.forEach(Iterable.java:75)
at org.apache.seatunnel.plugin.discovery.AbstractPluginDiscovery.getAllPlugin(AbstractPluginDiscovery.java:248)
at org.apache.seatunnel.app.thirdparty.framework.PluginDiscoveryUtil.getAllConnectors(PluginDiscoveryUtil.java:126)
at org.apache.seatunnel.app.bean.connector.ConnectorCache.refresh(ConnectorCache.java:107)
at org.apache.seatunnel.app.bean.connector.ConnectorCache.<init>(ConnectorCache.java:73)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.springframework.beans.BeanUtils.instantiateClass(BeanUtils.java:211)
... 19 common frames omitted
Caused by: java.lang.ClassNotFoundException: org.apache.seatunnel.api.table.catalog.schema.TableSchemaOptions
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
... 32 common frames omitted
基本是版本不符导致，从maven下载2.3.6版本的jar包更换2.3.3版本的jar包，重新启动。
https://i-blog.csdnimg.cn/direct/ebaad77a3bcf4f31b600e6aac5df6d2e.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]