Apache Doris 2.x 版本【保姆级】安装+使用教程
Doris简介Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不但可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 可以或许较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日记检索分析、用户画像分析、订单分析等应用。
Doris技术概述
Doris团体架构如下图所示，Doris 架构非常简单，只有两类进程
[*] Frontend（FE），主要负责用户哀求的接入、查询分析规划、元数据的管理、节点管理相关工作。
[*] Backend（BE），主要负责数据存储、查询筹划的实行。
这两类进程都是可以横向扩展的，单集群可以支持到数百台呆板，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构计划极大的降低了一款分布式系统的运维成本。
在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。Doris 当前支持多种主流的 BI 产品，包括不限于 SmartBI、DataEase、FineBI、Tableau、Power BI、SuperSet 等，只要支持 MySQL 协议的 BI 工具，Doris 就可以作为数据源提供查询支持。
在存储引擎方面，Doris 采用列式存储，按列举行数据的编码压缩和读取，可以或许实现极高的压缩比，同时镌汰大量非相关数据的扫描，从而更加有用使用 IO 和 CPU 资源。
Doris2.1.2版本于2024年4月份正式发布,此教程也根据Doris官方2.*的完备安装文档来撰写。
一：团体部署架构
节点规格脚色安装目录192.168.1.88 核 | 32 GBFE、BE /data/doris212192.168.1.78 核 | 32 GBFE、BE/data/doris212192.168.1.68 核 | 32 GBBE/data/doris212 服务器配置：
官方建议：通常建议 10 ~ 100 台左右的呆板，来充分发挥 Doris 的性能（其中 3 台部署 FE（HA），剩余的部署 BE）在最少4台呆板（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的环境下，依然可以安稳的运行 Doris。
二：前期准备
tips1: 前期准备的示例当中, 有部分步调需要重启服务器,可以品级二章节结束后一并重启,不需要每一步单独重启
tips2: 前期准备的示例当中, 此文章都是以FE这台节点举行的操作演示, 现实上需要看自己有多少台服务器就要实行多少台。好比我的呆板有三台,我只演示了其中1.8这台,但是三台都需要实行前期准备工作。
2.1 服务器之间免密钥
这篇文章 3.11章节 具体先容了SSH免密钥过程 【点击连接跳转】
2.2 设置系统最大打开文件句柄数
通过修改文件句柄数来控制系统打开文件的数目。通常环境下默以为1024个文件， 通过 ulimit -n 检察目前最大文件句柄数
# ulimit -n
1024
2.2.1 临时修改
# ulimit -n 65535
2.2.2 永世修改
检察 /etc/security/limits.conf 文件末了三行内容
# tail -n 3 /etc/security/limits.conf
使用printf命令向文件中追加 root soft nofile 6553 和 root hard nofile 65535
# printf "root soft nofile 65535\nroot hard nofile 65535\n" >> /etc/security/limits.conf
再次检察 /etc/security/limits.conf 文件末了三行内容,看是否追加成功
# tail -n 3 /etc/security/limits.conf
检察 /etc/sysctl.conf 文件末了三行内容
# tail -n 3 /etc/sysctl.conf
使用printf命令向文件中追加 fs.file-max=655350 和 vm.max_map_count=2000000
# printf "fs.file-max=655350\nvm.max_map_count=2000000\n" >> /etc/sysctl.conf
再次检察 /etc/sysctl.conf 文件末了三行内容,看是否追加成功
# tail -n 3 /etc/sysctl.conf
立刻收效(可能照旧需要重启)
# sysctl -p
检察open files项 是否已被修改
# ulimit -a
https://img-blog.csdnimg.cn/direct/28dc5b6f83684c53a2a5f031f41d6651.png
2.3 时钟同步
Doris 的元数据要求时间精度要小于5000ms，所以全部集群全部呆板要举行时钟同步，制止因为时钟问题引发的元数据不一致导致服务出现异常。
这篇文章 3.9 章节 具体先容了服务器时间不一致的矫正方法 【点击连接跳转】
2.4 Centos7 关闭防火墙
检察防火墙命令
systemctl status firewalld
开启防火墙命令
systemctl start firewalld
关闭防火墙命令
systemctl stop firewalld
禁用防火墙命令
systemctl disable firewalld
检察系统防火墙规则命令
iptables -L
清空系统防火墙规则命令
iptables -F
https://img-blog.csdnimg.cn/037d50c71c6d4c698d5832f17624c022.png
2.5 Contos7 Selinux 关闭
SeLinux有三种状模式，一个是宽容模式Enforcing，一种是Permissive，还有一种是关闭模式Disabled，其中前两种固然一个会强制实行一个不会强制实行，但是都会限制部分系统资源访问权限。所以SeLinux最好设置为关闭状态 --Disabled。
检察SeLinux状态
getenforce
临时关闭SeLinux
setenforce 0
永世关闭SeLinux
1、vim /etc/selinux/config，SELINUX=disabled，然后保存退出。
2、vim /etc/sysconfig/selinux，SELINUX=disabled，然后保存退出。
重启收效。
https://img-blog.csdnimg.cn/direct/5e8862b532154bceb22daf99d792a0ba.png
2.6 Contos7 Swappiness 关闭
swap指的是一个互换分区或文件，主要是在内存使用存在压力时，触发内存回收，这时可能会将部分内存的数据互换到swap空间。Linux互换分区会给Doris带来很严重的性能问题，需要在安装之前禁用互换分区，不关闭则会导致内存使用率过高，从而引发FE Memory limit exceeded 后挂掉。
检察Swappiness版本号
swapon --version
修改/etc/fstab 文件，将有 swap 这一行注释
# /dev/mapper/uniontechos-swap none swap defaults 0 0
修改/etc/sysctl.conf 文件，新增 vm.swappiness = 0
vm.swappiness = 0
sysctl -p 使配置收效
sysctl -p
重启收效
https://img-blog.csdnimg.cn/direct/7c8bd08a5e4647dba66822bd89cc67b9.png
2.7 Centos7 修改 hugepage
设置开机启动文件实行权限
# chmod +x /etc/rc.d/rc.local
#
向文件中追加指令,always体现在系统启动时间，主动分配内存，never体现有软件自己分配内存。
# printf "echo never > /sys/kernel/mm/transparent_hugepage/enabled\necho never > /sys/kernel/mm/transparent_hugepage/defrag\n" >> /etc/rc.d/rc.local
将下述内容添加至文件末端部分
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
https://img-blog.csdnimg.cn/direct/d7bf159dbd654beeae5b5ae36a56367d.png
2.8 Contos7 JDK 安装
这篇文章 3.10 章节 具体先容了linux安装JDK的保姆教程 【点击连接跳转】
2.8 Apache Doris 2.0.1 选择安装包
官方下载地址：Download - Apache Doris
选择下载的时间有X64(avx2) 和 X64(no avx2) 两个选项, 在doris0.14.13.1 及之后的版本需要运行环境的 CPU 支持 avx2 指令，可以通过 cat /proc/cpuinfo 检察是否支持。如果不支持，请使用带 no-avx2 后缀的版本。avx2 指令会明显提升 bloomfilter 等数据结构的计算效率，从而影响索引过滤、runtime filter 等功能的效率。使用以下命令检察：
# cat /proc/cpuinfo |grep flag
https://img-blog.csdnimg.cn/direct/29fcbfeef337494a82190995ca743271.png
可以看到该服务器cpu是不支持avx2指令的，那就可以下载不支持avx2指令的已编译版本。如果cpu支持avx2指令，需要下载支持avx2指令的已编译版本。
https://img-blog.csdnimg.cn/direct/e5b9348c3d9c4b8982a15b79af96d201.png
三：Doirs安装
3.1 网络端口要求
Doris 各个实例直接通过网络举行通讯。以下表格展示了全部需要开放的端口,所以请确保端口不被其他服务占用。
[*]当部署多个 FE 实例时，要保证 FE 的 http_port 配置雷同。
[*]部署前请确保各个端口在应有方向上的访问权限。
实例名称端口名称默认端口通讯方向分析BEbe_port9060FE --> BEBE 上 thrift server 的端口，用于吸收来自 FE 的哀求BEwebserver_port8040BE <--> BEBE 上的 http server 的端口BEheartbeat_service_port9050FE --> BEBE 上心跳服务端口（thrift），用于吸收来自 FE 的心跳BEbrpc_port8060FE <--> BE, BE <--> BEBE 上的 brpc 端口，用于 BE 之间通讯FEhttp_port8030FE <--> FE，用户 <--> FEFE 上的 http server 端口FErpc_port9020BE --> FE, FE <--> FEFE 上的 thrift server 端口，每个fe的配置需要保持一致FEquery_port9030用户 <--> FEFE 上的 mysql server 端口FEarrow_flight_sql_port9040用户 <--> FEFE 上的 Arrow Flight SQL server 端口FEedit_log_port9010FE <--> FEFE 上的 bdbje 之间通光荣的端口Brokerbroker_ipc_port8000FE --> Broker, BE --> BrokerBroker 上的 thrift server，用于吸收哀求 3.2 提前创建元数据文件夹和日记文件夹
因为Doris升级采用滚动升级方式, 将元数据放在单独的目录当中会制止后续升级时带来不必要的贫苦，好比doris212目录中有FE元数据目录doris_meta，后续doris123需要引用元数据目录,如果地址填为doris212/fe/doris_meta, 则doris212目录再也无法删除，所以这些特殊目录最好先创建好。
tips：doris集群服务器都需要实行
# cd /
#
# mkdir -p /data/doris/doris_meta
#
# mkdir -p /data/doris/fe_log
#
# mkdir -p /data/doris/storage
#
# mkdir -p /data/doris/be_log
#
# mkdir -p /data/doris/jdbc_drivers
#
# chmod -R 777 /data/doris
#
# cd /data/doris
#
# ls -lrt
总用量 20
drwxrwxrwx. 2 root root 4096 4月 24 21:30 doris_meta
drwxrwxrwx. 2 root root 4096 4月 24 21:30 fe_log
drwxrwxrwx. 2 root root 4096 4月 24 21:30 storage
drwxrwxrwx. 2 root root 4096 4月 24 21:30 be_log
drwxrwxrwx. 2 root root 4096 4月 24 21:30 jdbc_drivers
#
# pwd
/data/doris
#
https://img-blog.csdnimg.cn/direct/b0389730c6db474d98a61a1b7e904107.png
3.3 将压缩包解压到指定文件夹并重命名
[*]将安装包 apache-doris-2.1.2-bin-x64-noavx2.tar.gz 解压到/data下为apache-doris-2.1.2-bin-x64-noavx2.tar.gz 目录
# tar -zxvf apache-doris-2.1.2-bin-x64-noavx2.tar.gz -C /data/
[*] 将安装包重命名为 doris212
# mv apache-doris-2.1.2-bin-x64-noavx2 doris212
https://img-blog.csdnimg.cn/direct/6adeba24f23f4db487f68f4072cdf82e.png
[*] 进入doris212文件夹, 文件结构如下：
[*]其中extensions文件夹内容是apache_hdfs_broker和audit_loader拓展的功能。
# cd doris212/
# ls -lrt
总用量 12
drwxr-xr-x. 12 root root 4096 4月 9 20:06 fe
drwxr-xr-x. 3 root root 4096 4月 9 20:06 extensions
drwxr-xr-x. 11 root root 4096 4月 9 20:06 be
#
#
3.4 修改 fe.conf 配置文件
3.4.1：日记路径修改
这里的日记路径统一修改为3.2提前创建的文件夹中
LOG_DIR = /data/doris/fe_log
sys_log_dir = /data/doris/fe_log
audit_log_dir = /data/doris/fe_log
3.4.2：JDBC路径修改
JDBC drivers目录可以和BE共用，修改为3.2提前创建的文件夹中
jdbc_drivers_dir = /data/doris/jdbc_drivers
3.4.3：JAVA堆内存修改
JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。
-Xmx8192m
3.4.4：FE元数据路径修改
meta_dir 这里是FE 的元数据目录, 将默认的${DORIS_HOME}路径变动为刚才创建的自定义目录 /data/doris/ 当中, 官方强烈建议存放DORIS_METE的目录磁盘为SSD（高写入性能）和RAID（安全）。
meta_dir = /data/doris/doris_meta
3.4.5：priority_networks 怎样确认自己的网卡
priority_networks 因为有多网卡的存在，或因为安装过 docker 等环境导致的假造网卡的存在，同一个主机可能存在多个不同的 ip。当前 Doris 并不能主动识别可用 IP。所以当碰到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP。
priority_networks 是 FE 和 BE 都有的一个配置，配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时，告诉进程应该绑定哪个IP。示例如下：
priority_networks = 192.168.1.8/24
这是一种 CIDR (opens new window)的体现方法。FE 或 BE 会根据这个配置项来寻找匹配的IP，作为自己的 localIP。
priority_networks 配置中怎样找到正确的IP地址，有一个简单的办法就是实行 hostname -i 看一下是否有多个网卡,如下所示：
# hostname -i
fe80::f816:3eff:fe2f:e1b%enp4s3 192.168.1.8 172.17.0.1
可以看到我有两个网段信息,一个是192.168.1.8，一个是172.17.0.1。如果不确定哪一个是正确的IP地址，可以再次实行 ip a 检察网络CIDR体现法，如下所示：
https://img-blog.csdnimg.cn/direct/0ba1ef4b59e14df3a391ea1b52e04dd2.png
可以看到, 172.17.0.1 为 docker 环境导致的假造网卡,所以192.168.1.8为正确的IP地址。
3.4.6 fe.conf 配置文件如下：
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied.See the License for the
# specific language governing permissions and limitations
# under the License.
#####################################################################
## The uppercase properties are read and exported by bin/start_fe.sh.
## To see all Frontend configurations,
## see fe/src/org/apache/doris/common/Config.java
#####################################################################
CUR_DATE=`date +%Y%m%d-%H%M%S`
# the output dir of stderr and stdout
# DORIS 日志 输出目录
LOG_DIR = /data/doris/fe_log
# CMS JAVA OPTS
# JAVA_OPTS="-Dsun.security.krb5.debug=true -Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE"
# JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。
JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE"
# For jdk 9+, this JAVA_OPTS will be used as default JVM options
JAVA_OPTS_FOR_JDK_9="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*:$DORIS_HOME/log/fe.gc.log.$CUR_DATE:time"
# INFO, WARN, ERROR, FATAL
sys_log_level = INFO
# NORMAL, BRIEF, ASYNC
sys_log_mode = NORMAL
# store metadata, must be created before start FE.
# Default value is ${DORIS_HOME}/doris-meta
# 这里是FE 的元数据目录, 将默认的${DORIS_HOME}路径变更为刚才创建的自定义目录 /data/doris/ 当中, 官方强烈建议存放DORIS_METE的目录磁盘为SSD和RAID。
meta_dir = /data/doris/doris_meta
#jdbc_drivers 默认目录也需要修改
jdbc_drivers_dir = /data/doris/jdbc_drivers
http_port = 8030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
arrow_flight_sql_port = -1
# Choose one if there are more than one ip except loopback address.
# Note that there should at most one ip match this list.
# If no ip match this rule, will choose one randomly.
# use CIDR format, e.g. 10.10.10.0/24 or IP format, e.g. 10.10.10.1
# Default value is empty.
#因为有多网卡的存在，或因为安装过 docker 等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的 ip。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP
priority_networks = 192.168.1.8/24
# Advanced configurations
# log_roll_size_mb = 1024
sys_log_dir = /data/doris/fe_log
# sys_log_roll_num = 10
# sys_log_verbose_modules = org.apache.doris
audit_log_dir = /data/doris/fe_log
# audit_log_modules = slow_query, query
# audit_log_roll_num = 10
# meta_delay_toleration_second = 10
# qe_max_connection = 1024
# qe_query_timeout_second = 300
# qe_slow_log_ms = 5000 其中非默认配置可以跳转到第六章节, 在其中会具体讲解配置项
3.5 修改be.conf 配置文件
https://img-blog.csdnimg.cn/direct/44820541fdd1480b9defd7651c821ef6.png
3.5.1 日记修改路径
这里的日记路径统一修改为3.2提前创建的文件夹中
PPROF_TMPDIR = /data/doris/be_log/
sys_log_dir = /data/doris/be_log
3.5.2 JAVA_HOME 修改路径
JAVA_HOME 路径为2.8 JDK安装的目录
JAVA_HOME = /usr/local/java/jdk1.8.0_181/
3.5.3 priority_networks 填写
和 3.4.5 一致
priority_networks = 192.160.21.191/24
3.5.4 BE 存储数据目录修改
storage_root_path 路径为 3.2 创建的storage路径
storage_root_path = /data/doris/storage
3.5.5 jdbc 路径修改
JDBC drivers目录可以和BE共用，修改为3.2提前创建的文件夹中
jdbc_drivers_dir = /data/doris/jdbc_drivers
3.5.6 be.conf 配置文件如下
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied.See the License for the
# specific language governing permissions and limitations
# under the License.
CUR_DATE=`date +%Y%m%d-%H%M%S`
PPROF_TMPDIR="/data/doris/be_log/"
JAVA_OPTS="-Xmx1024m -DlogPath=$DORIS_HOME/log/jni.log -Xloggc:$DORIS_HOME/log/be.gc.log.$CUR_DATE -Djavax.security.auth.useSubjectCredsOnly=false -Dsun.security.krb5.debug=true -Dsun.java.command=DorisBE -XX:-CriticalJNINatives"
# For jdk 9+, this JAVA_OPTS will be used as default JVM options
JAVA_OPTS_FOR_JDK_9="-Xmx1024m -DlogPath=$DORIS_HOME/log/jni.log -Xlog:gc:$DORIS_HOME/log/be.gc.log.$CUR_DATE -Djavax.security.auth.useSubjectCredsOnly=false -Dsun.security.krb5.debug=true -Dsun.java.command=DorisBE -XX:-CriticalJNINatives"
# For jdk 17+, this JAVA_OPTS will be used as default JVM options
JAVA_OPTS_FOR_JDK_17="-Xmx1024m -DlogPath=$DORIS_HOME/log/jni.log -Xlog:gc:$DORIS_HOME/log/be.gc.log.$CUR_DATE -Djavax.security.auth.useSubjectCredsOnly=false -Dsun.security.krb5.debug=true -Dsun.java.command=DorisBE -XX:-CriticalJNINatives --add-opens=java.base/java.net=ALL-UNNAMED"
# since 1.2, the JAVA_HOME need to be set to run BE process.
# 从Doris1.2版本后 BE运行需要JAVA的支持 所以这里配置刚才配置好的JDK目录
JAVA_HOME=/usr/java/jdk1.8.0_181
# https://github.com/apache/doris/blob/master/docs/zh-CN/community/developer-guide/debug-tool.md#jemalloc-heap-profile
# https://jemalloc.net/jemalloc.3.html
JEMALLOC_CONF="percpu_arena:percpu,background_thread:true,metadata_thp:auto,muzzy_decay_ms:15000,dirty_decay_ms:15000,oversize_threshold:0,prof:false,lg_prof_interval:32,lg_prof_sample:19,prof_gdump:false,prof_accum:false,prof_leak:false,prof_final:false"
JEMALLOC_PROF_PRFIX=""
# INFO, WARNING, ERROR, FATAL
sys_log_level = INFO
# ports for admin, web, heartbeat service
be_port = 9060
webserver_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060
arrow_flight_sql_port = -1
# HTTPS configures
enable_https = false
# path of certificate in PEM format.
ssl_certificate_path = "$DORIS_HOME/conf/cert.pem"
# path of private key in PEM format.
ssl_private_key_path = "$DORIS_HOME/conf/key.pem"
# Choose one if there are more than one ip except loopback address.
# Note that there should at most one ip match this list.
# If no ip match this rule, will choose one randomly.
# use CIDR format, e.g. 10.10.10.0/24 or IP format, e.g. 10.10.10.1
# Default value is empty.
priority_networks = 192.168.1.8/24;
# data root path, separate by ';'
# You can specify the storage type for each root path, HDD (cold data) or SSD (hot data)
# eg:
# storage_root_path = /home/disk1/doris;/home/disk2/doris;/home/disk2/doris
# storage_root_path = /home/disk1/doris,medium:SSD;/home/disk2/doris,medium:SSD;/home/disk2/doris,medium:HDD
# /home/disk2/doris,medium:HDD(default)
#
# you also can specify the properties by setting '<property>:<value>', separate by ','
# property 'medium' has a higher priority than the extension of path
#
# Default value is ${DORIS_HOME}/storage, you should create it by hand.
storage_root_path = /data/doris/storage
# Default dirs to put jdbc drivers,default value is ${DORIS_HOME}/jdbc_drivers
jdbc_drivers_dir =/data/doris/jdbc_drivers
# Advanced configurations
sys_log_dir =/data/doris/be_log
# sys_log_roll_mode = SIZE-MB-1024
# sys_log_roll_num = 10
# sys_log_verbose_modules = *
# log_buffer_level = -1
# palo_cgroups
# aws sdk log level
# Off = 0,
# Fatal = 1,
# Error = 2,
# Warn = 3,
# Info = 4,
# Debug = 5,
# Trace = 6
# Default to turn off aws sdk log, because aws sdk errors that need to be cared will be output through Doris logs
aws_log_level=0
## If you are not running in aws cloud, you can disable EC2 metadata
AWS_EC2_METADATA_DISABLED=true
四：Doris 操作
4.1 启动FE
前台启动
# /data/doris212/fe/bin/start_fe.sh
后台启动
# /data/doris212/fe/bin/start_fe.sh --daemon
后台停止
# /data/doris212/fe/bin/start_fe.sh --daemon
启动之后可以使用jps检察JAVA进程，是否有 DorisFE, 如果有证实启动成功
https://img-blog.csdnimg.cn/direct/aaa231314e26427498a6dcb69617abbc.png
或者可以根据ip:8030端口来访问WEB控制台界面,账号:root/admin 暗码默认留空。
https://img-blog.csdnimg.cn/direct/ed5c0da18a3a431d96602bd074f679ce.png
https://img-blog.csdnimg.cn/direct/6f785ee1592e41b9b86b17abb3a24f8e.png
4.2 启动BE
前台启动
# /data/doris201/be/bin/start_be.sh
后台启动
# /data/doris201/be/bin/start_be.sh --daemon
后台停止
# /data/doris201/be/bin/stop_be.sh --daemon
https://img-blog.csdnimg.cn/direct/feff782b64124801b5a655a76262b06b.png
4.3 同步操作
将Doris FE 和 BE 的配置文件 同步到其他节点并 修改里面的IP为当前节点IP
4.3.1：将doris212发送至其他两个节点
# scp -r doris212 root@192.168.1.7:/data/
# scp -r doris212 root@192.168.1.6:/data/
https://img-blog.csdnimg.cn/direct/5718c7b9740944e19e0cf02e56f7052f.png
4.3.2: 修改三台主机的be配置文件
https://img-blog.csdnimg.cn/direct/db8aed66fda3416ea0d17dfd644543ac.jpeg
注: 配置文件中的日记目录以及数据存放目录肯定要和第一台配置一样,3.2步调的操作肯定要每台服务器都实行
4.3.3: 修改1.7服务器的fe配置文件
https://img-blog.csdnimg.cn/direct/744b80ee9e794971924161ab2b4ec723.png
4.3.4：启动1.7的FE 和 1.7、1.6的BE 脚色。
4.3.3.1：启动1.7的FE
# /data/doris212/fe/bin/start_fe.sh --daemon
https://img-blog.csdnimg.cn/direct/442e46e582da42fb89b56621c9af306d.png
https://img-blog.csdnimg.cn/direct/653071847a704b61a1a942424b485a98.png
4.3.3.1：启动1.7、16的BE
1.7实行：
# /data/doris212/be/bin/start_be.sh --daemon
1.6实行：
# /data/doris212/be/bin/start_be.sh --daemon
https://img-blog.csdnimg.cn/direct/adbfe145044841e5aec6aca78804a9f2.png
4.4 安装MYSQL客户端
下载Mysql客户端rpm包到FE脚色主机的:/data/doris目录中，下方链接自取
Mysql Client RPM包
https://img-blog.csdnimg.cn/direct/c0378221c04244a79a15621b04b54a13.png
4.5 添加FE、BE 脚色
添加FE脚色：
登录到通过MYSQL Drive登录到Doris的控制台:
# mysql -h 192.168.1.8 -P 9030 -uroot
添加FE的FOLLOWER节点
mysql> ALTER SYSTEM ADD FOLLOWER "192.168.1.7:9010";
检察FE的状态 , 看Alive为true 是正常状态。
mysql> SHOW PROC '/frontends';
https://img-blog.csdnimg.cn/direct/fcda387a90ba4a2f879ef6d40cc93c8f.png
添加BE脚色：
https://img-blog.csdnimg.cn/direct/c7a17eac7f194d8cbd8dbc027e77a709.png可以看到FE页面管理器的日记中一直在报错: System has no available disk capacity or no available BE nodes。是因为无法找到BE节点导致。
在Doris的控制台继续实行 添加1.8 1.7 1.6 全部BE的节点信息:
mysql> ALTER SYSTEM ADD backend "192.168.1.8:9050";
mysql> ALTER SYSTEM ADD backend "192.168.1.7:9050";
mysql> ALTER SYSTEM ADD backend "192.168.1.6:9050";
检察BE的状态, 看Alive为true 是正常状态。
mysql> SHOW PROC '/backends';
https://img-blog.csdnimg.cn/direct/ece40b2cab094844b9eab3205ca050fe.png
4.6修改暗码
因为Doris启动后默认是没有暗码的,这个时间需要进去修改暗码。
修改暗码之前的登岸方式:
# mysql -h 192.168.1.8 -P 9030 -uroot
修改暗码:
mysql> SET PASSWORD FOR 'root' = PASSWORD('自己设置的暗码');
修改暗码之后的登岸方式:
# mysql -h 192.168.1.8 -P 9030 -uroot -p
https://img-blog.csdnimg.cn/direct/bde777b284da4c5e8dea14c4fc077f50.png
五: 报错记录
1: 启动BE报错: wrong cidr format. cidr_str=
https://img-blog.csdnimg.cn/direct/be1249afe06d47bab586451191ad053f.png
问题原因及解决:
在be.conf中priority_networks项末端没有去掉分号; 导致。将分号去掉重启BE
2：启动BE报错:Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'
问题原因及解决:
没有设置个进程可以拥有的最大内存映射地区数, 永世设置看该文章第2.2章节,临时设置实行: sysctl -w vm.max map count=2000000
3：启动BE报错：Please set the maximum number of open file descriptors larger than 60000, eg: 'ulimit -n 60000'.
问题原因及解决:
没有设置永世系统最大打开文件句柄数, 永世设置看该文章第2.2章节,临时设置实行:ulimit -n 60000
六：常规配置文件和命令：
6.1 FE.CONF 配置文件项
# 向量化
enable_vectorized_engine = true
#轻量表结构变动
light_schema_change = true
#unique表是否使用merge on write实现。
enable_unique_key_merge_on_write = true
# 开启 PartitionCache 缓存
cache_enable_partition_mode = true
cache_enable_sql_mode = true
#每个BE能做多能同时处置惩罚多少个使命
max_routine_load_task_num_per_be = 10
#是否允许动态安装插件
plugin_enable = true
6.2 BE.CONF 配置文件项
#槽位数，默认值为5，每个BE能同时并行处置惩罚多少个roune load使命
routine_load_thread_pool_size = 10
#查询线程数，默认最小启动64个线程，后续查询哀求动态创建线程，最大创建256个线程
fragment_pool_thread_num_max = 2048
#单节点上可以或许处置惩罚的查询哀求上限
fragment_pool_queue_size = 4096
#该配置主要用来修改brpc中bthreads的数目. 该配置的默认值被设置为-1, 这意味着bthreads的数目将被设置为呆板的cpu核数。
brpc_num_threads = 256
#可以开启Segment Compaction归并功能
set enable_segcompaction = true;
#用于配置归并的隔断。默认每生成10个segment文件将会举行一次 该参数一般设置为10-30，过大的值会增长segment compaction 的内存占用量。
set segcompaction_batch_size =10;
是否开启列式compaction
enable_vertical_compaction=true
记录Stream Load 的记录
enable_stream_load_record = true
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]