Seatunnel和web快速安装详解

宁睿  金牌会员 | 2024-8-13 15:51:25 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 567|帖子 567|积分 1709

版本声明

当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然利用2.3.3版本。
可以自定义兼容处置惩罚,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ

下载地点

seatunnel下载

https://seatunnel.apache.org/download

seatunnel-web下载

https://seatunnel.apache.org/download
和seatunnel在相同的页面,往下拉,最下面有下载地点:

安装seatunnel

上传压缩包

将下载的压缩包上传到指定目录下
  1. # 在opt下创建seatunnel文件夹
  2. mkdir /opt/seatunnel
  3. # 用rz命令或shell工具上传即可
复制代码

解压

  1. tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
复制代码
设置环境变量

  1. # 编辑/etc/profile.d/my.env
  2. vim /etc/profile.d/my.env
  3. # 加入以下配置,具体路径根据自己服务设定
  4. # 加入java环境变量
  5. export JAVA_HOME=/opt/module/jdk1.8.0_212
  6. export PATH=$JAVA_HOME/bin:$PATH
  7. # 加入maven环境变量
  8. export MAVEN_HOME=/opt/module/apache-maven-3.5.4
  9. export PATH=$MAVEN_HOME/bin:$PATH
复制代码
实行source刷新环境变量
  1. source /etc/profile
复制代码
下载JAR包

Apache SeaTunnel里面的Connector对应的jar包必要自己下载,在实行主动下载jar包前,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容,主要内容就是下载jar包,
下载包的设置文件是:
  1. ${SEATUNNEL_HOME}/config/plugin_config
复制代码
这个设置文件中不必要的可以删掉或注释掉,只下载自己必要的;默认是从mvvm下载,下载速率太慢,我这边安装了maven,并且设置了阿里云仓库,因此可以直接将下图中下令替换,从maven中下载,

  1. 将 ${SEATUNNEL_HOME}/mvnw  替换为  mvn  
  2. 保存后退出
复制代码
修改后:

jar包将下载下载到connectors/seatunnel这个目录下;
实行下载下令
  1. sh bin/install-plugin.sh
复制代码
看到是从阿里云下载的,等待下载完成即可

下载完成后将connectors下的jar包拷贝到lib下
  1. cp connectors/seatunnel/* lib/
复制代码
测试功能

  1. cd /opt/seatunnel/apache-seatunnel-2.3.3
  2. ./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local
复制代码
看到这个就是实行乐成,现在为止seatunnel安装乐成

启动服务

  1. # 后台启动服务
  2. nohup sh bin/seatunnel-cluster.sh 2>&1 &
复制代码
查看日志,打印如下日志即乐成运行:

安装seatunnel-web

解压安装包

  1. tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz
复制代码

初始化数据库

数据库脚本在/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/script 这个文件夹下,由于我mysql是利用docker安装,在宿主机无法实行下令,因此无法直接在服务器端安装,我将seatunnel_server_mysql.sql 拷贝到本地,通过客户端导入脚本

实行乐成:


修改数据连接设置文件

  1. vim conf/application.yml
复制代码
下图中更改成对应现实数据库服务的信息:

设置Client信息

  1. cp /opt/seatunnel/apache-seatunnel-2.3.3/config/hazelcast-client.yaml /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/
复制代码
设置支持的插件信息

  1. cp /opt/seatunnel/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/
复制代码
设置JAR包

起首找一个数据库驱动包放到lib目录下:mysql-connector-java-8.0.28.jar

设置数据源JAR包

脚本地点:https://seatunnel.apache.org/assets/files/download_datasource-4b79e6fafe80459590a6a0fc2865e5ac.sh
seatunnel提供了很多数据源jar包,必要下载好,否则会出现无法创建数据源等各种问题;
  1. # 进入到/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin下
  2. cd /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin
  3. # 创建download_datasource.sh
  4. vim download_datasource.sh
  5. # 将上面脚本地址中的内容复制到 download_datasource.sh 中
  6. # 授权
  7. chmod 755 vim download_datasource.sh
  8. # 执行下载
  9. sh download_datasource.sh
复制代码
等待下载完成即可
设置datasource开头的jar包

  1. # 将seatunnel的jar依赖拷贝到web的libs下
  2. cp /opt/seatunnel/apache-seatunnel-2.3.3/lib/connector-*.jar /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/libs
复制代码
启动web服务

  1. sudo sh /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin/seatunnel-backend-daemon.sh start
复制代码
访问web端

访问地点:http://hadoop102:8801/
域名需根据自己现真相况替换,端口默认8801 ,用户名密码默认admin/admin



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

宁睿

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表