Apache Doris 2.x 版本【保姆级】安装+使用教程

美食家大橙子  论坛元老 | 2024-6-27 06:03:31 | 来自手机 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1984|帖子 1984|积分 5952

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
Doris简介

        Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不但可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 可以或许较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日记检索分析、用户画像分析、订单分析等应用。
Doris技术概述

Doris团体架构如下图所示，Doris 架构非常简单，只有两类进程


  • Frontend（FE），主要负责用户哀求的接入、查询分析规划、元数据的管理、节点管理相关工作。
  • Backend（BE），主要负责数据存储、查询筹划的实行。
这两类进程都是可以横向扩展的，单集群可以支持到数百台呆板，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构计划极大的降低了一款分布式系统的运维成本。
在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。Doris 当前支持多种主流的 BI 产品，包括不限于 SmartBI、DataEase、FineBI、Tableau、Power BI、SuperSet 等，只要支持 MySQL 协议的 BI 工具，Doris 就可以作为数据源提供查询支持。
在存储引擎方面，Doris 采用列式存储，按列举行数据的编码压缩和读取，可以或许实现极高的压缩比，同时镌汰大量非相关数据的扫描，从而更加有用使用 IO 和 CPU 资源。
Doris2.1.2版本于2024年4月份正式发布,此教程也根据Doris官方2.*的完备安装文档来撰写。
一：团体部署架构

节点规格脚色安装目录192.168.1.88 核 | 32 GBFE、BE /data/doris212192.168.1.78 核 | 32 GBFE、BE/data/doris212192.168.1.68 核 | 32 GBBE/data/doris212   服务器配置：
  官方建议：通常建议 10 ~ 100 台左右的呆板，来充分发挥 Doris 的性能（其中 3 台部署 FE（HA），剩余的部署 BE）在最少4台呆板（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的环境下，依然可以安稳的运行 Doris。
   二：前期准备

tips1: 前期准备的示例当中, 有部分步调需要重启服务器,可以品级二章节结束后一并重启,不需要每一步单独重启
tips2: 前期准备的示例当中, 此文章都是以FE这台节点举行的操作演示, 现实上需要看自己有多少台服务器就要实行多少台。好比我的呆板有三台,我只演示了其中1.8这台,但是三台都需要实行前期准备工作。
2.1 服务器之间免密钥

这篇文章 3.11章节 具体先容了SSH免密钥过程 【点击连接跳转】
2.2 设置系统最大打开文件句柄数

通过修改文件句柄数来控制系统打开文件的数目。通常环境下默以为1024个文件， 通过 ulimit -n 检察目前最大文件句柄数
   [root@testzt ~]#  ulimit -n
1024
   2.2.1 临时修改
   [root@testzt ~]# ulimit -n 65535
   2.2.2 永世修改
   检察 /etc/security/limits.conf 文件末了三行内容
  [root@testzt ~]# tail -n 3 /etc/security/limits.conf
  
  使用printf命令向文件中追加 root soft nofile 6553 和 root hard nofile 65535
[root@testzt ~]# printf "root soft nofile 65535\nroot hard nofile 65535\n" >> /etc/security/limits.conf
  
  再次检察 /etc/security/limits.conf 文件末了三行内容,看是否追加成功
[root@testzt ~]# tail -n 3 /etc/security/limits.conf
  
  检察 /etc/sysctl.conf 文件末了三行内容
[root@testzt ~]# tail -n 3 /etc/sysctl.conf
  
  使用printf命令向文件中追加 fs.file-max=655350 和 vm.max_map_count=2000000
[root@testzt ~]# printf "fs.file-max=655350\nvm.max_map_count=2000000\n" >> /etc/sysctl.conf
  
  再次检察 /etc/sysctl.conf 文件末了三行内容,看是否追加成功
[root@testzt ~]# tail -n 3 /etc/sysctl.conf
  
  立刻收效(可能照旧需要重启)
[root@testzt ~]# sysctl -p
  
  检察open files项 是否已被修改
[root@testzt ~]# ulimit -a
  ​​​​​​​
​
2.3 时钟同步

Doris 的元数据要求时间精度要小于5000ms，所以全部集群全部呆板要举行时钟同步，制止因为时钟问题引发的元数据不一致导致服务出现异常。
 这篇文章 3.9 章节 具体先容了服务器时间不一致的矫正方法 【点击连接跳转】
2.4 Centos7 关闭防火墙

   检察防火墙命令
systemctl status firewalld
  开启防火墙命令
systemctl start firewalld
  关闭防火墙命令
systemctl stop firewalld
  禁用防火墙命令
  systemctl disable firewalld
检察系统防火墙规则命令
  iptables -L
  清空系统防火墙规则命令
  iptables -F
  

2.5 Contos7 Selinux 关闭

SeLinux有三种状模式，一个是宽容模式Enforcing，一种是Permissive，还有一种是关闭模式Disabled，其中前两种固然一个会强制实行一个不会强制实行，但是都会限制部分系统资源访问权限。所以SeLinux最好设置为关闭状态 --Disabled。
   检察SeLinux状态
  getenforce
  临时关闭SeLinux
  setenforce 0
  永世关闭SeLinux
  1、vim /etc/selinux/config，SELINUX=disabled，然后保存退出。
  2、vim /etc/sysconfig/selinux，SELINUX=disabled，然后保存退出。
  重启收效。
  

2.6 Contos7 Swappiness 关闭

swap指的是一个互换分区或文件，主要是在内存使用存在压力时，触发内存回收，这时可能会将部分内存的数据互换到swap空间。Linux互换分区会给Doris带来很严重的性能问题，需要在安装之前禁用互换分区，不关闭则会导致内存使用率过高，从而引发FE  Memory limit exceeded 后挂掉。
   检察Swappiness版本号
swapon --version
修改/etc/fstab 文件，将有 swap 这一行注释
  #  /dev/mapper/uniontechos-swap none                    swap    defaults        0 0
修改/etc/sysctl.conf 文件，新增 vm.swappiness = 0
  vm.swappiness = 0
sysctl -p 使配置收效
sysctl -p 
  重启收效
  

2.7 Centos7 修改 hugepage

   设置开机启动文件实行权限
  [root@testzt ~]# chmod +x /etc/rc.d/rc.local
[root@testzt ~]# 
  向文件中追加指令,always体现在系统启动时间，主动分配内存，never体现有软件自己分配内存。
[root@testzt ~]# printf "echo never > /sys/kernel/mm/transparent_hugepage/enabled\necho never > /sys/kernel/mm/transparent_hugepage/defrag\n" >> /etc/rc.d/rc.local
  将下述内容添加至文件末端部分
   echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
  


2.8 Contos7 JDK 安装

这篇文章 3.10 章节 具体先容了linux安装JDK的保姆教程 【点击连接跳转】
2.8 Apache Doris 2.0.1 选择安装包

官方下载地址：Download - Apache Doris
选择下载的时间有X64(avx2) 和 X64(no avx2) 两个选项, 在doris0.14.13.1 及之后的版本需要运行环境的 CPU 支持 avx2 指令，可以通过 cat /proc/cpuinfo 检察是否支持。如果不支持，请使用带 no-avx2 后缀的版本。avx2 指令会明显提升 bloomfilter 等数据结构的计算效率，从而影响索引过滤、runtime filter 等功能的效率。使用以下命令检察：
   [root@testzt ~]# cat /proc/cpuinfo |grep flag
  


可以看到该服务器cpu是不支持avx2指令的，那就可以下载不支持avx2指令的已编译版本。如果cpu支持avx2指令，需要下载支持avx2指令的已编译版本。

三：Doirs安装

3.1 网络端口要求

Doris 各个实例直接通过网络举行通讯。以下表格展示了全部需要开放的端口,所以请确保端口不被其他服务占用。

  • 当部署多个 FE 实例时，要保证 FE 的 http_port 配置雷同。
  • 部署前请确保各个端口在应有方向上的访问权限。
实例名称端口名称默认端口通讯方向分析
BEbe_port9060FE --> BEBE 上 thrift server 的端口，用于吸收来自 FE 的哀求
BEwebserver_port8040BE <--> BEBE 上的 http server 的端口
BEheartbeat_service_port9050FE --> BEBE 上心跳服务端口（thrift），用于吸收来自 FE 的心跳
BEbrpc_port8060FE <--> BE, BE <--> BEBE 上的 brpc 端口，用于 BE 之间通讯
FEhttp_port8030FE <--> FE，用户 <--> FEFE 上的 http server 端口
FErpc_port9020BE --> FE, FE <--> FEFE 上的 thrift server 端口，每个fe的配置需要保持一致
FEquery_port9030用户 <--> FEFE 上的 mysql server 端口
FEarrow_flight_sql_port9040用户 <--> FEFE 上的 Arrow Flight SQL server 端口
FEedit_log_port9010FE <--> FEFE 上的 bdbje 之间通光荣的端口
Brokerbroker_ipc_port8000FE --> Broker, BE --> BrokerBroker 上的 thrift server，用于吸收哀求
3.2 提前创建元数据文件夹和日记文件夹

因为Doris升级采用滚动升级方式, 将元数据放在单独的目录当中会制止后续升级时带来不必要的贫苦，好比doris212目录中有FE元数据目录doris_meta，后续doris123需要引用元数据目录,如果地址填为doris212/fe/doris_meta, 则doris212目录再也无法删除，所以这些特殊目录最好先创建好。
tips：doris集群服务器都需要实行
   [root@testzt data]# cd /
[root@testzt /]# 
[root@testzt /]# mkdir -p /data/doris/doris_meta
[root@testzt /]# 
[root@testzt /]# mkdir -p /data/doris/fe_log
[root@testzt /]# 
[root@testzt /]# mkdir -p /data/doris/storage
[root@testzt /]# 
[root@testzt /]# mkdir -p /data/doris/be_log
[root@testzt /]# 
[root@testzt /]# mkdir -p /data/doris/jdbc_drivers
[root@testzt /]# 
[root@testzt /]# chmod -R 777 /data/doris
[root@testzt /]# 
[root@testzt /]# cd /data/doris
[root@testzt doris]# 
[root@testzt doris]# ls -lrt
总用量 20
drwxrwxrwx. 2 root root 4096 4月  24 21:30 doris_meta
drwxrwxrwx. 2 root root 4096 4月  24 21:30 fe_log
drwxrwxrwx. 2 root root 4096 4月  24 21:30 storage
drwxrwxrwx. 2 root root 4096 4月  24 21:30 be_log
drwxrwxrwx. 2 root root 4096 4月  24 21:30 jdbc_drivers
[root@testzt doris]# 
[root@testzt doris]# pwd
/data/doris
[root@testzt doris]#
  


3.3 将压缩包解压到指定文件夹并重命名



  • 将安装包 apache-doris-2.1.2-bin-x64-noavx2.tar.gz 解压到/data下为apache-doris-2.1.2-bin-x64-noavx2.tar.gz 目录
   [root@testzt data]# tar -zxvf apache-doris-2.1.2-bin-x64-noavx2.tar.gz -C /data/
  

  •      将安装包重命名为 doris212
   [root@testzt data]# mv apache-doris-2.1.2-bin-x64-noavx2 doris212
  



  •  进入doris212文件夹, 文件结构如下： 
  • 其中extensions文件夹内容是apache_hdfs_broker和audit_loader拓展的功能。
   [root@testzt data]# cd doris212/
[root@testzt doris212]# ls -lrt
总用量 12
drwxr-xr-x. 12 root root 4096 4月   9 20:06   fe
drwxr-xr-x.  3 root root 4096  4月   9 20:06   extensions
drwxr-xr-x. 11 root root 4096 4月   9 20:06   be
[root@testzt doris212]# 
[root@testzt doris212]#
  3.4 修改 fe.conf 配置文件

3.4.1：日记路径修改

   这里的日记路径统一修改为3.2提前创建的文件夹中
  LOG_DIR      = /data/doris/fe_log
sys_log_dir    = /data/doris/fe_log
audit_log_dir  = /data/doris/fe_log
  3.4.2：JDBC路径修改

   JDBC drivers目录可以和BE共用，修改为3.2提前创建的文件夹中
  jdbc_drivers_dir = /data/doris/jdbc_drivers
  3.4.3：JAVA堆内存修改

   JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。 
  -Xmx8192m
  3.4.4：FE元数据路径修改

   meta_dir 这里是FE 的元数据目录, 将默认的${DORIS_HOME}路径变动为刚才创建的自定义目录 /data/doris/ 当中, 官方强烈建议存放DORIS_METE的目录磁盘为SSD（高写入性能）和RAID（安全）。
  meta_dir = /data/doris/doris_meta
  3.4.5：priority_networks  怎样确认自己的网卡

priority_networks 因为有多网卡的存在，或因为安装过 docker 等环境导致的假造网卡的存在，同一个主机可能存在多个不同的 ip。当前 Doris 并不能主动识别可用 IP。所以当碰到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP。
priority_networks 是 FE 和 BE 都有的一个配置，配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时，告诉进程应该绑定哪个IP。示例如下：
   priority_networks = 192.168.1.8/24
  这是一种 CIDR (opens new window)的体现方法。FE 或 BE 会根据这个配置项来寻找匹配的IP，作为自己的 localIP。
priority_networks 配置中怎样找到正确的IP地址，有一个简单的办法就是实行 hostname -i 看一下是否有多个网卡,如下所示：
   [root@testzt ~]# hostname -i
fe80::f816:3eff:fe2f:e1b%enp4s3 192.168.1.8 172.17.0.1
  可以看到我有两个网段信息,一个是192.168.1.8，一个是172.17.0.1。如果不确定哪一个是正确的IP地址，可以再次实行 ip a 检察网络CIDR体现法，如下所示：

 可以看到, 172.17.0.1 为 docker 环境导致的假造网卡,所以192.168.1.8为正确的IP地址。
3.4.6 fe.conf 配置文件如下：

  1. # Licensed to the Apache Software Foundation (ASF) under one
  2. # or more contributor license agreements.  See the NOTICE file
  3. # distributed with this work for additional information
  4. # regarding copyright ownership.  The ASF licenses this file
  5. # to you under the Apache License, Version 2.0 (the
  6. # "License"); you may not use this file except in compliance
  7. # with the License.  You may obtain a copy of the License at
  8. #
  9. #   http://www.apache.org/licenses/LICENSE-2.0
  10. #
  11. # Unless required by applicable law or agreed to in writing,
  12. # software distributed under the License is distributed on an
  13. # "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  14. # KIND, either express or implied.  See the License for the
  15. # specific language governing permissions and limitations
  16. # under the License.
  18. #####################################################################
  19. ## The uppercase properties are read and exported by bin/start_fe.sh.
  20. ## To see all Frontend configurations,
  21. ## see fe/src/org/apache/doris/common/Config.java
  22. #####################################################################
  24. CUR_DATE=`date +%Y%m%d-%H%M%S`
  26. # the output dir of stderr and stdout
  27. # DORIS 日志 输出目录
  28. LOG_DIR = /data/doris/fe_log
  30. # CMS JAVA OPTS
  31. # JAVA_OPTS="-Dsun.security.krb5.debug=true -Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE"
  33. # JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。
  34. JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE"
  36. # For jdk 9+, this JAVA_OPTS will be used as default JVM options
  37. JAVA_OPTS_FOR_JDK_9="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*:$DORIS_HOME/log/fe.gc.log.$CUR_DATE:time"
  39. # INFO, WARN, ERROR, FATAL
  40. sys_log_level = INFO
  42. # NORMAL, BRIEF, ASYNC
  43. sys_log_mode = NORMAL
  45. # store metadata, must be created before start FE.
  46. # Default value is ${DORIS_HOME}/doris-meta
  47. # 这里是FE 的元数据目录, 将默认的${DORIS_HOME}路径变更为刚才创建的自定义目录 /data/doris/ 当中, 官方强烈建议存放DORIS_METE的目录磁盘为SSD和RAID。
  48. meta_dir = /data/doris/doris_meta
  50. #jdbc_drivers 默认目录也需要修改
  51. jdbc_drivers_dir = /data/doris/jdbc_drivers
  53. http_port = 8030
  54. rpc_port = 9020
  55. query_port = 9030
  56. edit_log_port = 9010
  57. arrow_flight_sql_port = -1
  60. # Choose one if there are more than one ip except loopback address.
  61. # Note that there should at most one ip match this list.
  62. # If no ip match this rule, will choose one randomly.
  63. # use CIDR format, e.g. 10.10.10.0/24 or IP format, e.g. 10.10.10.1
  64. # Default value is empty.
  65. #因为有多网卡的存在，或因为安装过 docker 等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的 ip。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP
  66. priority_networks = 192.168.1.8/24
  68. # Advanced configurations
  69. # log_roll_size_mb = 1024
  70. sys_log_dir = /data/doris/fe_log
  71. # sys_log_roll_num = 10
  72. # sys_log_verbose_modules = org.apache.doris
  73. audit_log_dir = /data/doris/fe_log
  74. # audit_log_modules = slow_query, query
  75. # audit_log_roll_num = 10
  76. # meta_delay_toleration_second = 10
  77. # qe_max_connection = 1024
  78. # qe_query_timeout_second = 300
  79. # qe_slow_log_ms = 5000
复制代码
 其中非默认配置可以跳转到第六章节, 在其中会具体讲解配置项
3.5 修改be.conf 配置文件


3.5.1 日记修改路径

   这里的日记路径统一修改为3.2提前创建的文件夹中
  PPROF_TMPDIR      = /data/doris/be_log/
sys_log_dir =  /data/doris/be_log
  3.5.2 JAVA_HOME 修改路径

   JAVA_HOME 路径为2.8 JDK安装的目录
  JAVA_HOME =  /usr/local/java/jdk1.8.0_181/
  3.5.3 priority_networks 填写

   和 3.4.5 一致
  priority_networks =  192.160.21.191/24
   3.5.4 BE 存储数据目录修改

   storage_root_path 路径为 3.2 创建的storage路径
storage_root_path = /data/doris/storage
   3.5.5 jdbc 路径修改

   JDBC drivers目录可以和BE共用，修改为3.2提前创建的文件夹中
  jdbc_drivers_dir = /data/doris/jdbc_drivers
  3.5.6 be.conf 配置文件如下

  1. # Licensed to the Apache Software Foundation (ASF) under one
  2. # or more contributor license agreements.  See the NOTICE file
  3. # distributed with this work for additional information
  4. # regarding copyright ownership.  The ASF licenses this file
  5. # to you under the Apache License, Version 2.0 (the
  6. # "License"); you may not use this file except in compliance
  7. # with the License.  You may obtain a copy of the License at
  8. #
  9. #   http://www.apache.org/licenses/LICENSE-2.0
  10. #
  11. # Unless required by applicable law or agreed to in writing,
  12. # software distributed under the License is distributed on an
  13. # "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  14. # KIND, either express or implied.  See the License for the
  15. # specific language governing permissions and limitations
  16. # under the License.
  18. CUR_DATE=`date +%Y%m%d-%H%M%S`
  20. PPROF_TMPDIR="/data/doris/be_log/"
  22. JAVA_OPTS="-Xmx1024m -DlogPath=$DORIS_HOME/log/jni.log -Xloggc:$DORIS_HOME/log/be.gc.log.$CUR_DATE -Djavax.security.auth.useSubjectCredsOnly=false -Dsun.security.krb5.debug=true -Dsun.java.command=DorisBE -XX:-CriticalJNINatives"
  24. # For jdk 9+, this JAVA_OPTS will be used as default JVM options
  25. JAVA_OPTS_FOR_JDK_9="-Xmx1024m -DlogPath=$DORIS_HOME/log/jni.log -Xlog:gc:$DORIS_HOME/log/be.gc.log.$CUR_DATE -Djavax.security.auth.useSubjectCredsOnly=false -Dsun.security.krb5.debug=true -Dsun.java.command=DorisBE -XX:-CriticalJNINatives"
  27. # For jdk 17+, this JAVA_OPTS will be used as default JVM options
  28. JAVA_OPTS_FOR_JDK_17="-Xmx1024m -DlogPath=$DORIS_HOME/log/jni.log -Xlog:gc:$DORIS_HOME/log/be.gc.log.$CUR_DATE -Djavax.security.auth.useSubjectCredsOnly=false -Dsun.security.krb5.debug=true -Dsun.java.command=DorisBE -XX:-CriticalJNINatives --add-opens=java.base/java.net=ALL-UNNAMED"
  30. # since 1.2, the JAVA_HOME need to be set to run BE process.
  31. # 从Doris1.2版本后 BE运行需要JAVA的支持 所以这里配置刚才配置好的JDK目录
  32. JAVA_HOME=/usr/java/jdk1.8.0_181
  34. # https://github.com/apache/doris/blob/master/docs/zh-CN/community/developer-guide/debug-tool.md#jemalloc-heap-profile
  35. # https://jemalloc.net/jemalloc.3.html
  36. JEMALLOC_CONF="percpu_arena:percpu,background_thread:true,metadata_thp:auto,muzzy_decay_ms:15000,dirty_decay_ms:15000,oversize_threshold:0,prof:false,lg_prof_interval:32,lg_prof_sample:19,prof_gdump:false,prof_accum:false,prof_leak:false,prof_final:false"
  37. JEMALLOC_PROF_PRFIX=""
  39. # INFO, WARNING, ERROR, FATAL
  40. sys_log_level = INFO
  42. # ports for admin, web, heartbeat service
  43. be_port = 9060
  44. webserver_port = 8040
  45. heartbeat_service_port = 9050
  46. brpc_port = 8060
  47. arrow_flight_sql_port = -1
  49. # HTTPS configures
  50. enable_https = false
  51. # path of certificate in PEM format.
  52. ssl_certificate_path = "$DORIS_HOME/conf/cert.pem"
  53. # path of private key in PEM format.
  54. ssl_private_key_path = "$DORIS_HOME/conf/key.pem"
  57. # Choose one if there are more than one ip except loopback address.
  58. # Note that there should at most one ip match this list.
  59. # If no ip match this rule, will choose one randomly.
  60. # use CIDR format, e.g. 10.10.10.0/24 or IP format, e.g. 10.10.10.1
  61. # Default value is empty.
  62. priority_networks = 192.168.1.8/24;
  64. # data root path, separate by ';'
  65. # You can specify the storage type for each root path, HDD (cold data) or SSD (hot data)
  66. # eg:
  67. # storage_root_path = /home/disk1/doris;/home/disk2/doris;/home/disk2/doris
  68. # storage_root_path = /home/disk1/doris,medium:SSD;/home/disk2/doris,medium:SSD;/home/disk2/doris,medium:HDD
  69. # /home/disk2/doris,medium:HDD(default)
  70. #
  71. # you also can specify the properties by setting '<property>:<value>', separate by ','
  72. # property 'medium' has a higher priority than the extension of path
  73. #
  74. # Default value is ${DORIS_HOME}/storage, you should create it by hand.
  75. storage_root_path = /data/doris/storage
  77. # Default dirs to put jdbc drivers,default value is ${DORIS_HOME}/jdbc_drivers
  78. jdbc_drivers_dir =  /data/doris/jdbc_drivers
  80. # Advanced configurations
  81. sys_log_dir =  /data/doris/be_log
  82. # sys_log_roll_mode = SIZE-MB-1024
  83. # sys_log_roll_num = 10
  84. # sys_log_verbose_modules = *
  85. # log_buffer_level = -1
  86. # palo_cgroups
  88. # aws sdk log level
  89. #    Off = 0,
  90. #    Fatal = 1,
  91. #    Error = 2,
  92. #    Warn = 3,
  93. #    Info = 4,
  94. #    Debug = 5,
  95. #    Trace = 6
  96. # Default to turn off aws sdk log, because aws sdk errors that need to be cared will be output through Doris logs
  97. aws_log_level=0
  98. ## If you are not running in aws cloud, you can disable EC2 metadata
  99. AWS_EC2_METADATA_DISABLED=true
复制代码
四：Doris 操作

4.1 启动FE 

   前台启动
  [root@testzt fe_log]# /data/doris212/fe/bin/start_fe.sh 
  后台启动
  [root@testzt fe_log]# /data/doris212/fe/bin/start_fe.sh  --daemon
  后台停止
  [root@testzt fe_log]# /data/doris212/fe/bin/start_fe.sh  --daemon
   启动之后可以使用jps检察JAVA进程，是否有 DorisFE, 如果有证实启动成功

或者可以根据ip:8030端口来访问WEB控制台界面,账号:root/admin 暗码默认留空。



4.2 启动BE

   前台启动
  [root@host-192-160-21-191 /]# /data/doris201/be/bin/start_be.sh 
  后台启动
  [root@host-192-160-21-191 /]# /data/doris201/be/bin/start_be.sh --daemon
  后台停止
  [root@host-192-160-21-191 /]# /data/doris201/be/bin/stop_be.sh --daemon
  


4.3 同步操作

将Doris FE 和 BE 的配置文件 同步到其他节点并 修改里面的IP为当前节点IP
4.3.1：将doris212发送至其他两个节点

   [root@testzt data]# scp -r doris212 root@192.168.1.7:/data/
  [root@testzt data]# scp -r doris212 root@192.168.1.6:/data/
  


4.3.2: 修改三台主机的be配置文件



注: 配置文件中的日记目录以及数据存放目录肯定要和第一台配置一样,3.2步调的操作肯定要每台服务器都实行
4.3.3: 修改1.7服务器的fe配置文件


4.3.4：启动1.7的FE 和 1.7、1.6的BE 脚色。

4.3.3.1：启动1.7的FE
   [root@localhost data]# /data/doris212/fe/bin/start_fe.sh --daemon
  


4.3.3.1：启动1.7、16的BE
   1.7实行：
  [root@localhost data]# /data/doris212/be/bin/start_be.sh --daemon
  1.6实行：
  [root@192 data]#  /data/doris212/be/bin/start_be.sh --daemon
  

4.4 安装MYSQL客户端

下载Mysql客户端rpm包到FE脚色主机的:/data/doris目录中，下方链接自取
Mysql Client RPM包

4.5 添加FE、BE 脚色

添加FE脚色：
   登录到通过MYSQL Drive登录到Doris的控制台:
  [root@testzt doris]# mysql -h 192.168.1.8 -P 9030 -uroot
  添加FE的FOLLOWER节点
  mysql> ALTER SYSTEM ADD FOLLOWER "192.168.1.7:9010";
  检察FE的状态 , 看Alive为true 是正常状态。
  mysql> SHOW PROC '/frontends';
  

添加BE脚色：
可以看到FE页面管理器的日记中一直在报错: System has no available disk capacity or no available BE nodes。是因为无法找到BE节点导致。
   在Doris的控制台继续实行 添加1.8 1.7 1.6 全部BE的节点信息:
  mysql> ALTER SYSTEM ADD backend "192.168.1.8:9050";
  mysql> ALTER SYSTEM ADD backend "192.168.1.7:9050";
  mysql> ALTER SYSTEM ADD backend "192.168.1.6:9050";
  检察BE的状态, 看Alive为true 是正常状态。
  mysql> SHOW PROC '/backends';
  

4.6修改暗码

因为Doris启动后默认是没有暗码的,这个时间需要进去修改暗码。
   修改暗码之前的登岸方式:
  [root@testzt doris]# mysql -h 192.168.1.8 -P 9030 -uroot
  修改暗码:
  mysql> SET PASSWORD FOR 'root' = PASSWORD('自己设置的暗码');
  修改暗码之后的登岸方式:
  [root@testzt doris]#  mysql -h 192.168.1.8 -P 9030 -uroot -p
  


五: 报错记录

1: 启动BE报错: wrong cidr format. cidr_str=


问题原因及解决: 
在be.conf中priority_networks项末端没有去掉分号; 导致。将分号去掉重启BE
2：启动BE报错lease set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'

问题原因及解决:
没有设置个进程可以拥有的最大内存映射地区数, 永世设置看该文章第2.2章节,临时设置实行: sysctl -w vm.max map count=2000000
3：启动BE报错：Please set the maximum number of open file descriptors larger than 60000, eg: 'ulimit -n 60000'.

问题原因及解决:
没有设置永世系统最大打开文件句柄数, 永世设置看该文章第2.2章节,临时设置实行:ulimit -n 60000

六：常规配置文件和命令：

6.1 FE.CONF 配置文件项

   # 向量化
enable_vectorized_engine = true
#轻量表结构变动​​​​​​​
light_schema_change = true
  #unique表是否使用merge on write实现。
enable_unique_key_merge_on_write = true
# 开启 PartitionCache 缓存
cache_enable_partition_mode = true
cache_enable_sql_mode = true
#每个BE能做多能同时处置惩罚多少个使命
max_routine_load_task_num_per_be = 10
  #是否允许动态安装插件
plugin_enable = true
  6.2 BE.CONF 配置文件项

   #槽位数，默认值为5，每个BE能同时并行处置惩罚多少个roune load使命
routine_load_thread_pool_size = 10
#查询线程数，默认最小启动64个线程，后续查询哀求动态创建线程，最大创建256个线程
fragment_pool_thread_num_max = 2048
#单节点上可以或许处置惩罚的查询哀求上限
fragment_pool_queue_size = 4096
#该配置主要用来修改brpc中bthreads的数目. 该配置的默认值被设置为-1, 这意味着bthreads的数目将被设置为呆板的cpu核数。
brpc_num_threads = 256
#可以开启Segment Compaction归并功能
set enable_segcompaction = true;
#用于配置归并的隔断。默认每生成10个segment文件将会举行一次 该参数一般设置为10-30，过大的值会增长segment compaction 的内存占用量。​​​​​​​
set segcompaction_batch_size =10;
是否开启列式compaction
enable_vertical_compaction=true
  记录​​​​​​​Stream Load 的记录
  enable_stream_load_record = true

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

美食家大橙子

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

渠道 国产数据库 集成商 AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表