宁睿 发表于 2024-8-13 15:51:25

Seatunnel和web快速安装详解

版本声明

当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然利用2.3.3版本。
可以自定义兼容处置惩罚,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ
https://i-blog.csdnimg.cn/blog_migrate/cb6310cd1f3475273371eb0d2028c59e.png
下载地点

seatunnel下载

https://seatunnel.apache.org/download
https://i-blog.csdnimg.cn/blog_migrate/c6126c876b2e3fb7e8e639ec331cbec1.png
seatunnel-web下载

https://seatunnel.apache.org/download
和seatunnel在相同的页面,往下拉,最下面有下载地点:
https://i-blog.csdnimg.cn/blog_migrate/36be061d360c4cb212ab3634ea1104fe.png
安装seatunnel

上传压缩包

将下载的压缩包上传到指定目录下
# 在opt下创建seatunnel文件夹
mkdir /opt/seatunnel
# 用rz命令或shell工具上传即可
https://i-blog.csdnimg.cn/blog_migrate/694595471d708091f973ec831de21ba4.png
解压

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
设置环境变量

# 编辑/etc/profile.d/my.env
vim /etc/profile.d/my.env

# 加入以下配置,具体路径根据自己服务设定
# 加入java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

# 加入maven环境变量
export MAVEN_HOME=/opt/module/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH
实行source刷新环境变量
source /etc/profile
下载JAR包

Apache SeaTunnel里面的Connector对应的jar包必要自己下载,在实行主动下载jar包前,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容,主要内容就是下载jar包,
下载包的设置文件是:
${SEATUNNEL_HOME}/config/plugin_config
这个设置文件中不必要的可以删掉或注释掉,只下载自己必要的;默认是从mvvm下载,下载速率太慢,我这边安装了maven,并且设置了阿里云仓库,因此可以直接将下图中下令替换,从maven中下载,
https://i-blog.csdnimg.cn/blog_migrate/a27aa61936d4a14868cc8527cbfd54c5.png
将 ${SEATUNNEL_HOME}/mvnw替换为mvn

保存后退出
修改后:
https://i-blog.csdnimg.cn/blog_migrate/3f7362113fe1e3c6a59754c5ef06ffe3.png
jar包将下载下载到connectors/seatunnel这个目录下;
实行下载下令
sh bin/install-plugin.sh
看到是从阿里云下载的,等待下载完成即可
https://i-blog.csdnimg.cn/blog_migrate/6b60753616f3d68dc0146da79beb58a4.png
下载完成后将connectors下的jar包拷贝到lib下
cp connectors/seatunnel/* lib/
测试功能

cd /opt/seatunnel/apache-seatunnel-2.3.3

./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local
看到这个就是实行乐成,现在为止seatunnel安装乐成
https://i-blog.csdnimg.cn/blog_migrate/631dfacbd1250b53427808117284a964.png
启动服务

# 后台启动服务
nohup sh bin/seatunnel-cluster.sh 2>&1 &
查看日志,打印如下日志即乐成运行:
https://i-blog.csdnimg.cn/blog_migrate/f6c185535aa53fe13fc899735eb8ecbe.png
安装seatunnel-web

解压安装包

tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz
https://i-blog.csdnimg.cn/blog_migrate/d01ad7776eaadcd912511f9894aabbae.png
初始化数据库

数据库脚本在/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/script 这个文件夹下,由于我mysql是利用docker安装,在宿主机无法实行下令,因此无法直接在服务器端安装,我将seatunnel_server_mysql.sql 拷贝到本地,通过客户端导入脚本
https://i-blog.csdnimg.cn/blog_migrate/275ef2f4b1dc536f122f540241395490.png
实行乐成:
https://i-blog.csdnimg.cn/blog_migrate/84898cf1dd9ecb37302ef10e64b34f95.png
https://i-blog.csdnimg.cn/blog_migrate/580d9c3f8d97aba8cc958c890c048648.png
修改数据连接设置文件

vim conf/application.yml
下图中更改成对应现实数据库服务的信息:
https://i-blog.csdnimg.cn/blog_migrate/5b4714898e003a3d3f9f69b2cd83674a.png
设置Client信息

cp /opt/seatunnel/apache-seatunnel-2.3.3/config/hazelcast-client.yaml /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/
设置支持的插件信息

cp /opt/seatunnel/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/
设置JAR包

起首找一个数据库驱动包放到lib目录下:mysql-connector-java-8.0.28.jar
https://i-blog.csdnimg.cn/blog_migrate/a1d4f7003ef1faf695ae5ab0d4c3ce55.png
设置数据源JAR包

脚本地点:https://seatunnel.apache.org/assets/files/download_datasource-4b79e6fafe80459590a6a0fc2865e5ac.sh
seatunnel提供了很多数据源jar包,必要下载好,否则会出现无法创建数据源等各种问题;
# 进入到/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin下
cd /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin

# 创建download_datasource.sh
vim download_datasource.sh

# 将上面脚本地址中的内容复制到 download_datasource.sh 中

# 授权
chmod 755 vim download_datasource.sh

# 执行下载
sh download_datasource.sh
等待下载完成即可
设置datasource开头的jar包

# 将seatunnel的jar依赖拷贝到web的libs下
cp /opt/seatunnel/apache-seatunnel-2.3.3/lib/connector-*.jar /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/libs
启动web服务

sudo sh /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin/seatunnel-backend-daemon.sh start
访问web端

访问地点:http://hadoop102:8801/
域名需根据自己现真相况替换,端口默认8801 ,用户名密码默认admin/admin
https://i-blog.csdnimg.cn/blog_migrate/0dd37357f3637b92bb388c6091fbe7f0.png
https://i-blog.csdnimg.cn/blog_migrate/4494fb4f3e7144ee9ae68a8bc6941278.png

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: Seatunnel和web快速安装详解