大数据管理平台DataSophon-1.2.1【图文详细部署流程】
一、DataSophon先容1.1、愿景
致力于快速实现部署、管理、监控以及主动化运维大数据云原生平台，帮助您快速构建起稳固、高效、可弹性伸缩的大数据云原生平台。
1.2、DataSophon是什么
《三体》，这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知，其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平"。
作为三体中非常紧张的脚色，智子(Sophon)是将九维的质子举行二维展开，通过电路蚀刻改造成超等计算机后，再转回到微观的十一维来监控人类的一举一动，并使用量子纠缠实现瞬时通讯陈诉给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI及时长途监控和管理平台。
DataSophon也是个类似的管理平台，只不过与智子差别的是，智子的目的是锁死人类的根本科学阻碍人类技术爆炸，而DataSophon是致力于主动化监控、运维、管理大数据根本组件和节点的，帮助您快速构建起稳固，高效的大数据集群服务。
1.3重要特性有:
[*]快速部署,可快速完成300个节点的大数据集群部署
[*]兼容复杂环境,少少的依赖使其很轻易适配各种复杂环境
[*]监控指标全面丰富，基于生产实践展示用户最关心的监控指标
[*]机动便捷的告警服务，可实现用户自界说告警组和告警指标
[*]可扩展性强，用户可通过配置的方式集成或升级大数据组件
https://i-blog.csdnimg.cn/direct/c41997f3545d4dadb066c59f2c6317cb.png
1.4、整体架构
https://i-blog.csdnimg.cn/direct/f1cc39e37669483183fbea7c9eb6d181.png
1.5、集成组件
各集成组件均举行过兼容性测试，并稳固运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。
序号名称版本形貌1HDFS3.3.3分布式大数据存储2YARN3.3.3分布式资源调理与管理平台3ZooKeeper3.5.10分布式协调系统4Kafka2.4.1高吞吐量分布式发布订阅消息系统5Hive3.1.0离线数据堆栈6FLINK1.16.2及时计算引擎7Spark3.1.3分布式计算系统8Hbase2.4.16分布式列式存储数据库9Trino367分布式Sql交互式查询引擎10Ranger2.1.0权限控制框架11ElasticSearch7.16.2高性能搜索引擎12StreamPark2.1.1流处理极速开发框架,流批一体&湖仓一体的云原生平台13DolphoinScheduler3.1.8分布式易扩展的可视化工作流使命调理平台14AlertManager0.23.0告警通知管理系统15Prometheus2.17.2高性能监控指标收罗与告警系统16Grafana9.1.6监控分析与数据可视化套件17Kerberos1.15.1计算机网络认证协议18Doris1.2.6新一代极速全场景MPP数据库19Kyuubi1.7.3统一多租户JDBC网关20Iceberg1.4.0适用于巨大数据集分析的开放式数据表格式 二、部署预备
2.1、服务器
IP主机名CPU内存磁盘192.168.0.171ddp018c20G50G192.168.0.172ddp028c20G50G192.168.0.173ddp038c20G50G192.168.0.174ddp048c20G50G 2.2、主机名映射
配置/etc/hosts文件（四台服务器都需要，第一行localhost 需要根据差别服务器修改）
# vim /etc/hosts
192.168.0.171 localhost
192.168.0.171 ddp01
192.168.0.172 ddp02
192.168.0.173 ddp03
192.168.0.174 ddp04 配置主机host
大数据集群所有机器需配置主机host。
配置主机名： hostnamectl set-hostname 主机名
配置/etc/hosts文件
2.3、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld https://i-blog.csdnimg.cn/direct/82a2fa2ecb61454a9b44f343b9c622a4.png
2.4、集群免密
部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。
配置免密
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys https://i-blog.csdnimg.cn/direct/aa91dfb1118e42bca2ef649ceab2f8b7.png
2.5、系统文件句柄
vim /etc/security/limits.conf
# End of file
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 65536 2.6、环境要求
Jdk环境需安装，参考：centos7.9 配置java1.8 环境变量-CSDN博客
MySQL安装参考：centos7.9 安装 mysql5.7 【详细教程】-CSDN博客
需关闭mysql ssl功能参考：mysql5.7.6关闭SSL-CSDN博客
2.7、创建目次
在ddp01(171)服务器/opt/datasophon目次下创建目次
mkdir -p /opt/datasophon/DDP/packages 将下载的部署包上传(大概使用软链)到/opt/datasophon/DDP/packages目次下，作为项目部署包堆栈地址。
https://i-blog.csdnimg.cn/direct/e959746e2cd448e5a4318452c366aa47.png
三、部署
3.1、解压
在安装目次下解压datasophon-manager-{version}.tar.gz，解压后可以看到如下安装目次：
cd/opt/datasophon/DDP/packages/
tar -zxvf datasophon-manager-1.2.1.tar.gz DataSophon 的所有应用配置文件在 conf 目次下。如果需要使用 DataSophon 的全部功能，在这之前先了解一下如何举行配置
conf 目次结构如下：
|-- datasophon.conf
|-- logback-api.xml
|-- common.properties
|-- profiles
| |-- application-config.yml
datasophon.conf 为快捷配置文件；如果你只想快速体验 DataSophon 的功能，配置它就足够了。datasophon.conf 本质上是 application-config.yml 中常用配置的快捷方式
logback-api.xml为日志配置文件
profiles/application-config.yml 为应用配置文件，包罗所有的应用配置。
3.2、配置应用数据库
3.2.1、创建数据库,
指定数据库编码为UTF-8
CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to datasophon@"%" identified by 'datasophon' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'datasophon'@'%';
FLUSH PRIVILEGES; https://i-blog.csdnimg.cn/direct/8169c90cd2d341e692bbb05888c904e3.png
3.2.2、修改配置
修改 conf 目次下的application.yml 配置文件中数据库链接配置（需要根据本身需要修改数据库名、用户和暗码）：
spring:
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql://${datasource.ip:localhost}:${datasource.port:3306}/${datasource.database:datasophon}?&allowMultiQueries=true&characterEncoding=utf-8
username: datasophon
password: datasophon
server:
port: ${server.port:8081}
address: ${server.ip:0.0.0.0}
datasophon:
migration:
enable: true
3.2.3、启动服务
cd /opt/datasophon/DDP/packages/datasophon-manager-1.2.1
#启动
sh bin/datasophon-api.sh start api
#停止
sh bin/datasophon-api.sh stop api
#重启
sh bin/datasophon-api.sh restart api 3.2.4、部署乐成后、可以举行日志检察
日志统一存放于logs文件夹内:
# cd logs/
# ls -l
总用量 5020
-rw-r--r--. 1 root root114998 7月28 09:05 api-ddp01.out
-rw-r--r--. 1 root root 1341328 7月27 16:59 datasophon-api.2024-07-27_16.0.log
-rw-r--r--. 1 root root200702 7月27 17:12 datasophon-api.2024-07-27_17.0.log
-rw-r--r--. 1 root root509741 7月27 20:59 datasophon-api.2024-07-27_20.0.log
-rw-r--r--. 1 root root144099 7月27 21:59 datasophon-api.2024-07-27_21.0.log
-rw-r--r--. 1 root root 82398 7月27 22:59 datasophon-api.2024-07-27_22.0.log
-rw-r--r--. 1 root root 62032 7月27 23:05 datasophon-api.2024-07-27_23.0.log
-rw-r--r--. 1 root root112531 7月28 08:59 datasophon-api.2024-07-28_08.0.log
-rw-r--r--. 1 root root 1372955 7月27 16:59 datasophon-api-error.2024-07-27_16.0.log
-rw-r--r--. 1 root root 1146702 7月27 17:08 datasophon-api-error.2024-07-27_17.0.log
-rw-r--r--. 1 root root 15260 7月27 22:16 datasophon-api-error.2024-07-27_22.0.log
-rw-r--r--. 1 root root 6948 7月27 23:05 datasophon-api-error.log
-rw-r--r--. 1 root root 706 7月28 09:05 datasophon-api.log
访问前端页面地址, 默认用户名和暗码为admin/admin123
http://192.168.0.171:8081/ddh/#/login
3.3、创建集群
3.3.1、登录进入系统页面后在集群管理页面创建集群
DataSophon支持多集群管理和授予用户集群管理员权限。
https://i-blog.csdnimg.cn/direct/86ab56c2c13a4c388ea3a135a7ee70ab.png
3.3.2、点击【创建集群】
输入集群名称，集群编码（集群唯一标识），集群框架。
https://i-blog.csdnimg.cn/direct/3df5b4c13e414d978f880debc0e65666.png
3.3.3、创建乐成后点击【配置集群】：
根据提示，输入主机列表（注意：主机名需与在预备环境中hostnamectl set-hostname 设置的主机名同等），ssh用户名默认为root和ssh端口默认为22。
https://i-blog.csdnimg.cn/direct/f586a7b7f46d4b4790ee82900a5f6217.png
3.3.4、配置完成后，点击【下一步】，系统开始链接主机并举行主机环境校验。
https://i-blog.csdnimg.cn/direct/4f9e8c92ca2e4c9f98a739b056f940d9.png
3.3.5、主机环境校验乐成后点击【下一步】
主机agent分发步调将主动分发datasophon-worker组件，并启动WorkerApplicationServer。
https://i-blog.csdnimg.cn/direct/c075637438d34b49a4278f2c1349d112.png
3.3.6、主机管理Agent分发完成后，点击【下一步】，开始部署服务。
初始化配置集群先选择部署AlertManager,Grafana和Prometheus三个组件。DataSophon依赖此三个组件实现系统监控告警管理。
https://i-blog.csdnimg.cn/direct/c36ef2004d0a44edac277d5ba582df5b.png
3.3.7、点击【下一步】
分配AlertManager,Grafana和Prometheus服务的worker与client服务脚色部署节点，没有worker和client服务脚色的可以跳过之间点击【下一步】。
https://i-blog.csdnimg.cn/direct/a2f96e2d161a4961906661c16daad679.png
3.7.8、修改各服务配置。系统已给出默认配置，大部分情况下无需修改。
https://i-blog.csdnimg.cn/direct/7159b7dc6a424f028e7c708762c50b5d.png
https://i-blog.csdnimg.cn/direct/e3fd7dbb8e1f49d3a269b6846d5eefa5.png
3.7.9、点击【下一步】开始服务安装，可及时检察服务安装进度。
https://i-blog.csdnimg.cn/direct/799eb2ebf8d4413a8f5868bc01d4e383.png
3.7.10、点击【完成】，在集群管理页面点击【进入】，即可进入集群服务组件管理页面。
https://i-blog.csdnimg.cn/direct/8a6f09876337415691dbbe7e42538cdc.png
https://i-blog.csdnimg.cn/direct/3a739a00fceb462d8503082c4e1d3d46.png
3.4、配置个人电脑映射
配置正在访问集群的hosts（我这里是windows，配置路径C:\Windows\System32\drivers\etc）
集群访问组件页面时用的是hostname
https://i-blog.csdnimg.cn/direct/bb23866904ee4b8daa903a5b37aa3869.png
四、服务安装
4.1、添加ZooKeeper。
https://i-blog.csdnimg.cn/direct/b710f2d49cec4451b5ecf700e1296e57.png
https://i-blog.csdnimg.cn/direct/97ad404b7bda4bc394bac0ab2be31c72.png
分配ZooKeeper master服务脚色部署节点，zk需部3台或5台。
https://i-blog.csdnimg.cn/direct/886dd0a212c643b9b07a91a690acd7d5.png
https://i-blog.csdnimg.cn/direct/9e9581782dfa4f64bb819540030a6cd0.png
Zk没有worker与client服务脚色，直接点击【下一步】跳过。
根据现实情况修改Zk服务配置。
https://i-blog.csdnimg.cn/direct/a20bd63a90164eb380b5e9d61fc0fd51.png
点击【下一步】，举行zk服务安装。
https://i-blog.csdnimg.cn/direct/780a4303ba3942b9a6d254b713ec9c0a.png
安装乐成后即可检察Zookeeper服务总览页面。
https://i-blog.csdnimg.cn/direct/15ad709a89014664a472a13d482ebff1.png
4.2、添加HDFS
https://i-blog.csdnimg.cn/direct/3b5443ec6d8f4298a71722cddc190e58.png
其中JournalNode需部署三台，NameNode部署两台，ZKFC和NameNode部署在雷同机器上。如下图：
https://i-blog.csdnimg.cn/direct/bfa455fc7249412d9f0081470b3e01e6.png
点击【下一步】，选择DataNode部署节点。
https://i-blog.csdnimg.cn/direct/816ff8777d6741cb959f232639485f64.png
根据现实情况修改配置，例如修改DataNode数据存储目次。
https://i-blog.csdnimg.cn/direct/8d964e19cb6e4750941f9d58840703e5.png
点击【下一步】，开始安装Hdfs。
https://i-blog.csdnimg.cn/direct/8b35a64c87d94dc9ac89106f98f8b0a0.png
安装乐成后，即可检察HDFS服务总览页面。
https://i-blog.csdnimg.cn/direct/b8d31d92b224413ca829ce8494de3f7c.png
4.3、添加YARN
https://i-blog.csdnimg.cn/direct/60ca164c135d40eaa1ddc12109a057ff.png
其中ResourceManager需部署两台作高可用。如下图：
https://i-blog.csdnimg.cn/direct/a3f1385c797241a7b4bc294a8d2f6651.png
点击【下一步】，选择NodeManager部署节点。
https://i-blog.csdnimg.cn/direct/7f63ad13bd6342ae825e47db6358aaf4.png
根据现实情况修改配置。
https://i-blog.csdnimg.cn/direct/81ff02f8d3514f3fb172ac3b1d66c5e6.png
点击【下一步】，开始安装YARN。
https://i-blog.csdnimg.cn/direct/b91d2578faba4385bfbe9276b24a9938.png
4.4、添加Spark
选择SPARK3。
Spark没有Master脚色，直接点击【下一步】。
https://i-blog.csdnimg.cn/direct/1f24295314dd4f8e93d0d12cb599dcdd.png
分配服务Worker与Client脚色
https://i-blog.csdnimg.cn/direct/23c99944a0364cd5956afd493c33964a.png
根据现实情况修改配置
https://i-blog.csdnimg.cn/direct/72c19ad8ce87405d815d48177225958d.png
点击【下一步】，安装Spark。
https://i-blog.csdnimg.cn/direct/7c5386e4982343b89ddca60d96b5deab.png
安装乐成后，即可检察SPARK3服务总览页面。
https://i-blog.csdnimg.cn/direct/c83bc6964eed4bc7b7000cb6fc8f7c36.png
4.5、添加Flink
选择Flink https://i-blog.csdnimg.cn/direct/e6bfa3344c7f4707b478a81e40169fa1.png FLink没有Master脚色，选择分配服务Worker与Client脚色 https://i-blog.csdnimg.cn/direct/3db339ca9546424789129fe3040240f6.png 根据需要配置服务 https://i-blog.csdnimg.cn/direct/37984112b6ea4aec80a09952fead0e42.png 点击【下一步】，安装FLink。 https://i-blog.csdnimg.cn/direct/422622b167fe4483b19ce1c8a197d996.png 安装乐成后，即可检察FLINK服务总览页面。 https://i-blog.csdnimg.cn/direct/5230d9d1313b4c6e897e200888c590ec.png4.6、添加Hive
在数据库中创建Hive数据库。
CREATE DATABASE IF NOT EXISTS hive DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to hive@"%" identified by 'hive' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
https://i-blog.csdnimg.cn/direct/b9154ae8ebb84ff59975d40ca61b6141.png
选择需要安装hiveserver2和metastore脚色的节点
https://i-blog.csdnimg.cn/direct/7dddbf647bc3405386491bd2cb14b352.png
HIVE没有Master节点
选择需要安装hiveclient脚色的节点
https://i-blog.csdnimg.cn/direct/6d6f91a519d24c2ba06490c968841f66.png
根据现实情况修改配置
https://i-blog.csdnimg.cn/direct/cc6850aa27ec4a988b60a92ef9ecfdb3.png
等待安装完成，安装乐成后即可检察Hive服务总览页面
https://i-blog.csdnimg.cn/direct/a9db152e0dca41d28c3e8167b247a2ed.png
安装乐成后可检察Hive总览页面。
https://i-blog.csdnimg.cn/direct/c7e18a3379ac4b058f3d41f160f02c97.png
4.7、添加Kafka
https://i-blog.csdnimg.cn/direct/c226a4db2dfc4badad78b6fe5effa16e.png 选择安装kafka服务broker脚色的节点 https://i-blog.csdnimg.cn/direct/a80d7c09630742cc83d23584077898ca.png 分配服务Worker与CLient脚色 https://i-blog.csdnimg.cn/direct/89e1a08f8e3749f6827141cc0313d7e2.png 根据现实情况调整Kafka参数。 https://i-blog.csdnimg.cn/direct/b11ca9a0419c4cbd98f2c1538fb5dc7e.png 点击下一步 等待安装完成 https://i-blog.csdnimg.cn/direct/738a33f3551543289a6ec3d51a075550.png Kafka安装乐成后，即可在Kakfa服务总览页检察Kafka详情。 https://i-blog.csdnimg.cn/direct/5d424cb2ae314e1bbd6371cd1317f310.png
4.8、添加Hbase
点击【添加服务】，选择Hbase。
https://i-blog.csdnimg.cn/direct/35191a52c16e43b2a5e7fded181bdf2f.png
选择HMaster。
https://i-blog.csdnimg.cn/direct/a66322b2ef7644ecbdeb91e7c4dca69d.png
选择RegionServer。
https://i-blog.csdnimg.cn/direct/8de98ce54ed64338992809b2422c508d.png
可根据需要修改服务配置。
https://i-blog.csdnimg.cn/direct/7e1dd74e02ee4f34aacef496d834aa07.png
点击【下一步】开始安装Hbase。
https://i-blog.csdnimg.cn/direct/c2b0d5b954884cca893b4da9b0fce21c.png
安装乐成后可检察Hbase总览页面。
https://i-blog.csdnimg.cn/direct/859e3a513d7d442bacc1dffc4a008e13.png
4.9、添加Trino
点击【添加服务】，选择Trino。
https://i-blog.csdnimg.cn/direct/233fb03761884693895000ec15dcb9e1.png
选择TrinoCoordinator。
https://i-blog.csdnimg.cn/direct/ae6022cc79284beb810b17043d1873a5.png
选择TrinoWorker。注意：TrinoCoordinator和TrinoWorker不要部署在同一台机器上。
https://i-blog.csdnimg.cn/direct/74915691e40e415bb254936d8001e63c.png
注意"Trino最大堆内存"，"每个查询在单个节点可使用最大内存"这两个配置，其中"每个查询在单个节点可使用最大内存"不可超过"Trino最大堆内存"的80%，"总共可使用最大内存"为"每个查询在单个节点可使用最大内存"* TrinoWorker数。
https://i-blog.csdnimg.cn/direct/8369e2d50fc4456bbf3c4e27e5478616.png
点击【下一步】，开始安装Trino。
https://i-blog.csdnimg.cn/direct/8563dcffe01a488a9bb36dc3c86b2816.png
安装乐成后可检察Trino总览页面。
https://i-blog.csdnimg.cn/direct/ea3330d01ad044208aba4249e0cbb6a0.png
选择trino的webui，可以访问trino的毗连，http://192.168.3.116:8086/ui/ （账号admin 没有暗码）
https://i-blog.csdnimg.cn/direct/3b2ced223c204882a4e869713b21f528.png
4.10、添加Ranger
创建Ranger数据库。
CREATE DATABASE IF NOT EXISTS ranger DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to ranger@"%" identified by 'ranger' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';
FLUSH PRIVILEGES;
点击【添加服务】，选择Ranger。
https://i-blog.csdnimg.cn/direct/3afe99e48def4015a574108ea4e0eef9.png
选择RangerAdmin部署节点。
https://i-blog.csdnimg.cn/direct/49881be0f5394428b1db2021874f615f.png
分配服务Worker与CLient脚色
https://i-blog.csdnimg.cn/direct/956f953ba7534c7daa0fb5d4d9f53db8.png
输入数据库root用户暗码，数据库地址，Ranger数据用户暗码等配置信息。
https://i-blog.csdnimg.cn/direct/f577e4007297414ba93672ee171aa211.png
点击【下一步】，开始安装Ranger，Ranger在安装过程中会执行sql语句，可能因mysql配置问题导致sql执行失败，从而导致Ranger安装失败，可检察日志查找sql执行失败缘故原由，解决后重新添加实例安装。
安装乐成后可检察Ranger总览页面。
https://i-blog.csdnimg.cn/direct/07fe06eac4324e5892e2a7d495cc86bd.png
http://ddp02:6080/login.jsp admin/admin123
https://i-blog.csdnimg.cn/direct/d05ef0ca25c7458bb60aedc0a2ae2c91.png
4.11、添加DolphinScheduler
初始化DolphinScheduler数据库。
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
flush privileges;
执行/opt/datasophon/DDP/packages目次下dolphinscheduler_mysql.sql创建dolphinscheduler数据库表。
mysql> use dolphinscheduler;
Database changed
mysql> source /opt/datasophon/DDP/packages/dolphinscheduler_mysql.sql
Query OK, 0 rows affected (0.00 sec)
Query OK, 0 rows affected, 1 warning (0.00 sec) 添加DolphinScheduler。
https://i-blog.csdnimg.cn/direct/df3d63efc3d5407ca1b2f398887b3b4e.png
分配api-server/alert-server/master-server/worker-server脚色
https://i-blog.csdnimg.cn/direct/2a3b4ee912e74e559f5e69f277bf9b95.png
分配Work与Client 脚色
https://i-blog.csdnimg.cn/direct/e3cf253f3a6a4fe690f6def8aa6905f1.png
根据现实情况，修改DolphinScheduler配置。
https://i-blog.csdnimg.cn/direct/174a9c7aa8c0450daa88c979593f055d.png
等待安装完成
https://i-blog.csdnimg.cn/direct/51e4adc968c847e3ad344ac6aa0d6e78.png
安装乐成后即可检察DolphinScheduler服务总览页面。
https://i-blog.csdnimg.cn/direct/934aa873fe3944d6b0947ca59d225f0f.png
点击WebUI下面的链接
http://ddp01:12345/dolphinscheduler/ui/login admi/dolphinscheduler123
https://i-blog.csdnimg.cn/direct/9c46395ebf2c4fbcae4b327e8a8dd7a5.png
4.12、添加ElasticSearch
https://i-blog.csdnimg.cn/direct/f3a3606e2fb2437bae02a2f526ece10c.png
分配服务Master脚色
https://i-blog.csdnimg.cn/direct/c042a1ebb0674529b5f5e8984d9f4e70.png
https://i-blog.csdnimg.cn/direct/b9d112ca34cf47d0af67c54b802b326c.png
根据现实情况修改配置。
https://i-blog.csdnimg.cn/direct/d5b01543ef75472588d4e754b0d6759a.png
等待安装完成
https://i-blog.csdnimg.cn/direct/079851f4e4dc48b78258ec5d2ef65a06.png
根据现实情况，修改ElasticSearch配置。
https://i-blog.csdnimg.cn/direct/d920dfd9a7b64d31a66e28d08d064a9f.png
4.13、添加StreamPark
初始化StreamPark数据库。
CREATE DATABASE streampark DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'%' IDENTIFIED BY 'streampark';
GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'localhost' IDENTIFIED BY 'streampark';
flush privileges; 在命令行中链接数据库，执行下面三个SQL文件
/opt/datasophon/DDP/packages/streampark.sql
/opt/datasophon/DDP/packages/streampark_mysql-schema.sql
/opt/datasophon/DDP/packages/streampark_mysql-data.sql 添加StreamPark。
https://i-blog.csdnimg.cn/direct/67cd093d54094477b4a749c0790fd54e.png
分配Master脚色
https://i-blog.csdnimg.cn/direct/c756e98539bc4d8f9da38a72c5cafb2e.png
分配服务Worker与CLient脚色（系统生成 改不了）
https://i-blog.csdnimg.cn/direct/f49e49f31d8d487189eda292d24f3288.png
根据现实情况修改配置。
https://i-blog.csdnimg.cn/direct/b025f102bd2d43139c3a6fe12778244d.png
等待安装完成
https://i-blog.csdnimg.cn/direct/c22e4a96f2c24243b839469dd4908bf6.png
安装乐成后可检察StreamPark总览页面，
https://i-blog.csdnimg.cn/direct/cfde2932d75e49479912350129a97b3d.png
可通过WebUi跳转到StreamPark用户页面。
http://ddp01:10000/#/login admin/streampark
https://i-blog.csdnimg.cn/direct/87e062deae984dcaabf53229e8976705.png
4.14、添加Kerberos
点击【添加服务】，选择Kerberos。
https://i-blog.csdnimg.cn/direct/a31c231c615243d2a5c7d4e791b33e10.png
分配Krb5Kdc和KAdmin服务脚色部署节点。
https://i-blog.csdnimg.cn/direct/519f8c47baf645b9be35e9af99864474.png
分配服务Worker与CLient脚色
https://i-blog.csdnimg.cn/direct/0e55c9340eca45c18375a4063dde48e5.png
点击【下一步】，举行Kerberos服务配置页面，默认不需要修改，注意：域名默认为HADOOP.COM，暂不支持修改。
https://i-blog.csdnimg.cn/direct/736e9b3d632b40eba7a52e6cbe9e3b0b.png
等待安装完成
https://i-blog.csdnimg.cn/direct/2cc00b587f5746abb0a615d099fc47e4.png
4.15、添加Iceberg
点击【添加服务】，选择Iceberg。选择IcebergClient
https://i-blog.csdnimg.cn/direct/42cfb6d10c0446409795275b53b9d7c2.png
https://i-blog.csdnimg.cn/direct/77cd7f9ed9c24922bcb73e3bf23a60ab.png
根据现实情况修改配置。
https://i-blog.csdnimg.cn/direct/9390281943344483ac2216ed88cf5d61.png
安装完成
https://i-blog.csdnimg.cn/direct/3943118efa3345ae95a666297c38deaa.png
4.16、doris
还没安装乐成
参考文章：
官网：DataSophon | DataSophon
【DataSophon】大数据管理平台DataSophon-1.2.1安装部署详细流程-CSDN博客
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]