论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
软件与程序人生
›
前端开发
›
Seatunnel和web快速安装详解
Seatunnel和web快速安装详解
宁睿
金牌会员
|
2024-8-13 15:51:25
|
显示全部楼层
|
阅读模式
楼主
主题
942
|
帖子
942
|
积分
2836
版本声明
当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然利用2.3.3版本。
可以自定义兼容处置惩罚,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ
下载地点
seatunnel下载
https://seatunnel.apache.org/download
seatunnel-web下载
https://seatunnel.apache.org/download
和seatunnel在相同的页面,往下拉,最下面有下载地点:
安装seatunnel
上传压缩包
将下载的压缩包上传到指定目录下
# 在opt下创建seatunnel文件夹
mkdir /opt/seatunnel
# 用rz命令或shell工具上传即可
复制代码
解压
tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
复制代码
设置环境变量
# 编辑/etc/profile.d/my.env
vim /etc/profile.d/my.env
# 加入以下配置,具体路径根据自己服务设定
# 加入java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH
# 加入maven环境变量
export MAVEN_HOME=/opt/module/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH
复制代码
实行source刷新环境变量
source /etc/profile
复制代码
下载JAR包
Apache SeaTunnel里面的Connector对应的jar包必要自己下载,在实行主动下载jar包前,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容,主要内容就是下载jar包,
下载包的设置文件是:
${SEATUNNEL_HOME}/config/plugin_config
复制代码
这个设置文件中不必要的可以删掉或注释掉,只下载自己必要的;默认是从mvvm下载,下载速率太慢,我这边安装了maven,并且设置了阿里云仓库,因此可以直接将下图中下令替换,从maven中下载,
将 ${SEATUNNEL_HOME}/mvnw 替换为 mvn
保存后退出
复制代码
修改后:
jar包将下载下载到connectors/seatunnel这个目录下;
实行下载下令
sh bin/install-plugin.sh
复制代码
看到是从阿里云下载的,等待下载完成即可
下载完成后将connectors下的jar包拷贝到lib下
cp connectors/seatunnel/* lib/
复制代码
测试功能
cd /opt/seatunnel/apache-seatunnel-2.3.3
./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local
复制代码
看到这个就是实行乐成,现在为止seatunnel安装乐成
启动服务
# 后台启动服务
nohup sh bin/seatunnel-cluster.sh 2>&1 &
复制代码
查看日志,打印如下日志即乐成运行:
安装seatunnel-web
解压安装包
tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz
复制代码
初始化数据库
数据库脚本在/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/script 这个文件夹下,由于我mysql是利用docker安装,在宿主机无法实行下令,因此无法直接在服务器端安装,我将seatunnel_server_mysql.sql 拷贝到本地,通过客户端导入脚本
实行乐成:
修改数据连接设置文件
vim conf/application.yml
复制代码
下图中更改成对应现实数据库服务的信息:
设置Client信息
cp /opt/seatunnel/apache-seatunnel-2.3.3/config/hazelcast-client.yaml /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/
复制代码
设置支持的插件信息
cp /opt/seatunnel/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/
复制代码
设置JAR包
起首找一个数据库驱动包放到lib目录下:mysql-connector-java-8.0.28.jar
设置数据源JAR包
脚本地点:https://seatunnel.apache.org/assets/files/download_datasource-4b79e6fafe80459590a6a0fc2865e5ac.sh
seatunnel提供了很多数据源jar包,必要下载好,否则会出现无法创建数据源等各种问题;
# 进入到/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin下
cd /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin
# 创建download_datasource.sh
vim download_datasource.sh
# 将上面脚本地址中的内容复制到 download_datasource.sh 中
# 授权
chmod 755 vim download_datasource.sh
# 执行下载
sh download_datasource.sh
复制代码
等待下载完成即可
设置datasource开头的jar包
# 将seatunnel的jar依赖拷贝到web的libs下
cp /opt/seatunnel/apache-seatunnel-2.3.3/lib/connector-*.jar /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/libs
复制代码
启动web服务
sudo sh /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin/seatunnel-backend-daemon.sh start
复制代码
访问web端
访问地点:http://hadoop102:8801/
域名需根据自己现真相况替换,端口默认8801 ,用户名密码默认admin/admin
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
正序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
发新帖
回复
宁睿
金牌会员
这个人很懒什么都没写!
楼主热帖
java前置学习
简单的用Python对手机号进行加密 ...
【RocketMQ】消息的存储
net core 3.1使用identityServer登录时 ...
k8s v-1.20版本部署详细过程[实测可用 ...
Unity 将是驱动 C# 增长的引擎吗 ? ...
【PostgreSQL】PostgreSQL重建与主库不 ...
离线数仓建设,企业大数据的业务驱动与 ...
iOS Widget
基于单片机的压力测控仿真设计(#0024) ...
标签云
挺好的
服务器
浏览过的版块
MES
快速回复
返回顶部
返回列表