ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据-146 Apache Kudu 安装运行 Dockerfile 模仿集群 启动测试 [打印本页]

---

作者: 卖不甜枣    时间: 2024-10-12 00:32
标题: 大数据-146 Apache Kudu 安装运行 Dockerfile 模仿集群 启动测试
点一下关注吧！！！非常感谢！！持续更新！！！

现在已经更新到了：

• Hadoop（已更完）
  
• HDFS（已更完）
  
• MapReduce（已更完）
  
• Hive（已更完）
  
• Flume（已更完）
  
• Sqoop（已更完）
  
• Zookeeper（已更完）
  
• HBase（已更完）
  
• Redis （已更完）
  
• Kafka（已更完）
  
• Spark（已更完）
  
• Flink（已更完）
  
• ClickHouse（已更完）
  
• Kudu（正在更新…）
  

章节内容

上节我们完成了如下的内容：

• Kudu 的根本先容
  
• Kudu 的架构概述
  

安装准备

硬件准备

• 一台大概多台跑kudu-master。建议一个Master（无容错机制）、三个Master（答应一个节点堕落）、五个Master（答应两个节点堕落）
  
• 一台大概多台呆板跑kudu-server。当必要利用副本，至少必要三个节点运行kudu-server服务。
  

操作系统

• Ubuntu云服务器（我的环境是三台小云服务器）
  
• 内核和文件系统支持 Hole Punching 选项。
  
• NTP 服务
  
• xfs or ext4 formatterd drivers
  

存储要求

• 尽量利用固态存储，显著提供kudu性能
  

环境说明

• 如果你利用的是CDH，必要ClouderaManager 5.4.3 及以上的版本。
  
• 三台云服务器，h121启动Master，h122和123启动TabletServer。
  

Dockerfile

1. https://github.com/apache/kudu/blob/master/docker/quickstart.yml

复制代码

官方的配置文件为：

• 3个Master
  
• 4个TabletServer
  

1. # Licensed to the Apache Software Foundation (ASF) under one
2. # or more contributor license agreements.  See the NOTICE file
3. # distributed with this work for additional information
4. # regarding copyright ownership.  The ASF licenses this file
5. # to you under the Apache License, Version 2.0 (the
6. # "License"); you may not use this file except in compliance
7. # with the License.  You may obtain a copy of the License at
8. #
9. #   http://www.apache.org/licenses/LICENSE-2.0
10. #
11. # Unless required by applicable law or agreed to in writing,
12. # software distributed under the License is distributed on an
13. # "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
14. # KIND, either express or implied.  See the License for the
15. # specific language governing permissions and limitations
16. # under the License.
17. version: "3"
18. services:
19.   kudu-master-1:
20.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
21.     ports:
22.       - "7051:7051"
23.       - "8051:8051"
24.     command: ["master"]
25.     volumes:
26.       - kudu-master-1:/var/lib/kudu
27.     environment:
28.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
29.       # TODO: Use `host.docker.internal` instead of KUDU_QUICKSTART_IP when it
30.       # works on Linux (https://github.com/docker/for-linux/issues/264)
31.       - >
32.         MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
33.         --rpc_bind_addresses=0.0.0.0:7051
34.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP:?Please set KUDU_QUICKSTART_IP environment variable}:7051
35.         --webserver_port=8051
36.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8051
37.         --webserver_doc_root=/opt/kudu/www
38.         --stderrthreshold=0
39.         --use_hybrid_clock=false
40.         --unlock_unsafe_flags=true
42.   kudu-master-2:
43.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
44.     ports:
45.       - "7151:7151"
46.       - "8151:8151"
47.     command: ["master"]
48.     volumes:
49.       - kudu-master-2:/var/lib/kudu
50.     environment:
51.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
52.       - >
53.         MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
54.         --rpc_bind_addresses=0.0.0.0:7151
55.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7151
56.         --webserver_port=8151
57.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8151
58.         --webserver_doc_root=/opt/kudu/www
59.         --stderrthreshold=0
60.         --use_hybrid_clock=false
61.         --unlock_unsafe_flags=true
62.   kudu-master-3:
63.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
64.     ports:
65.       - "7251:7251"
66.       - "8251:8251"
67.     command: ["master"]
68.     volumes:
69.       - kudu-master-3:/var/lib/kudu
70.     environment:
71.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
72.       - >
73.         MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
74.         --rpc_bind_addresses=0.0.0.0:7251
75.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7251
76.         --webserver_port=8251
77.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8251
78.         --webserver_doc_root=/opt/kudu/www
79.         --stderrthreshold=0
80.         --use_hybrid_clock=false
81.         --unlock_unsafe_flags=true
82.   kudu-tserver-1:
83.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
84.     depends_on:
85.       - kudu-master-1
86.       - kudu-master-2
87.       - kudu-master-3
88.     ports:
89.       - "7050:7050"
90.       - "8050:8050"
91.     command: ["tserver"]
92.     volumes:
93.       - kudu-tserver-1:/var/lib/kudu
94.     environment:
95.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
96.       - >
97.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
98.         --rpc_bind_addresses=0.0.0.0:7050
99.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7050
100.         --webserver_port=8050
101.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8050
102.         --webserver_doc_root=/opt/kudu/www
103.         --stderrthreshold=0
104.         --use_hybrid_clock=false
105.         --unlock_unsafe_flags=true
106.   kudu-tserver-2:
107.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
108.     depends_on:
109.       - kudu-master-1
110.       - kudu-master-2
111.       - kudu-master-3
112.     ports:
113.       - "7150:7150"
114.       - "8150:8150"
115.     command: ["tserver"]
116.     volumes:
117.       - kudu-tserver-2:/var/lib/kudu
118.     environment:
119.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
120.       - >
121.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
122.         --rpc_bind_addresses=0.0.0.0:7150
123.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7150
124.         --webserver_port=8150
125.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8150
126.         --webserver_doc_root=/opt/kudu/www
127.         --stderrthreshold=0
128.         --use_hybrid_clock=false
129.         --unlock_unsafe_flags=true
130.   kudu-tserver-3:
131.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
132.     depends_on:
133.       - kudu-master-1
134.       - kudu-master-2
135.       - kudu-master-3
136.     ports:
137.       - "7250:7250"
138.       - "8250:8250"
139.     command: ["tserver"]
140.     volumes:
141.       - kudu-tserver-3:/var/lib/kudu
142.     environment:
143.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
144.       - >
145.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
146.         --rpc_bind_addresses=0.0.0.0:7250
147.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7250
148.         --webserver_port=8250
149.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8250
150.         --webserver_doc_root=/opt/kudu/www
151.         --stderrthreshold=0
152.         --use_hybrid_clock=false
153.         --unlock_unsafe_flags=true
154.   kudu-tserver-4:
155.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
156.     depends_on:
157.       - kudu-master-1
158.       - kudu-master-2
159.       - kudu-master-3
160.     ports:
161.       - "7350:7350"
162.       - "8350:8350"
163.     command: ["tserver"]
164.     volumes:
165.       - kudu-tserver-4:/var/lib/kudu
166.     environment:
167.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
168.       - >
169.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
170.         --rpc_bind_addresses=0.0.0.0:7350
171.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7350
172.         --webserver_port=8350
173.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8350
174.         --webserver_doc_root=/opt/kudu/www
175.         --stderrthreshold=0
176.         --use_hybrid_clock=false
177.         --unlock_unsafe_flags=true
178.   kudu-tserver-5:
179.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
180.     depends_on:
181.       - kudu-master-1
182.       - kudu-master-2
183.       - kudu-master-3
184.     ports:
185.       - "7450:7450"
186.       - "8450:8450"
187.     command: ["tserver"]
188.     volumes:
189.       - kudu-tserver-5:/var/lib/kudu
190.     environment:
191.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
192.       - >
193.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
194.         --rpc_bind_addresses=0.0.0.0:7450
195.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7450
196.         --webserver_port=8450
197.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8450
198.         --webserver_doc_root=/opt/kudu/www
199.         --stderrthreshold=0
200.         --use_hybrid_clock=false
201.         --unlock_unsafe_flags=true
202. volumes:
203.   kudu-master-1:
204.   kudu-master-2:
205.   kudu-master-3:
206.   kudu-tserver-1:
207.   kudu-tserver-2:
208.   kudu-tserver-3:
209.   kudu-tserver-4:
210.   kudu-tserver-5:

复制代码

内容表明

• version: “3”：指定利用 Docker Compose 文件的版本。版本 3 是当前常用的版本，支持多种高级功能，适用于 Docker 1.13.0 及更高版本。
  
• services：定义了多个服务，每个服务对应一个 Docker 容器。在本配置中，定义了多个 Kudu Master 和 Kudu Tablet Server（简称 TServer）。
  
• volumes：定义了长期化存储卷，用于存储各个服务的数据，确保即使容器重新创建或删除，数据仍然保存。
  

3 个 Kudu Master 节点：

• kudu-master-1
  
• kudu-master-2
  
• kudu-master-3
  

5 个 Kudu Tablet Server 节点：

• kudu-tserver-1
  
• kudu-tserver-2
  
• kudu-tserver-3
  
• kudu-tserver-4
  
• kudu-tserver-5
  

Master

每个 Master 节点的配置根本雷同，只是端口和长期化卷不同。以下以 kudu-master-1 为例举行表明：

1. kudu-master-1:
2.   image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
3.   ports:
4.     - "7051:7051"
5.     - "8051:8051"
6.   command: ["master"]
7.   volumes:
8.     - kudu-master-1:/var/lib/kudu
9.   environment:
10.     - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
11.     - >
12.       MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
13.       --rpc_bind_addresses=0.0.0.0:7051
14.       --rpc_advertised_addresses=${KUDU_QUICKSTART_IP:?Please set KUDU_QUICKSTART_IP environment variable}:7051
15.       --webserver_port=8051
16.       --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8051
17.       --webserver_doc_root=/opt/kudu/www
18.       --stderrthreshold=0
19.       --use_hybrid_clock=false
20.       --unlock_unsafe_flags=true

复制代码

• udu-master-1：服务名称，标识第一个 Kudu Master 节点。
  
• image: apache/kudu{KUDU_QUICKSTART_VERSION:-latest}：指定利用的 Docker 镜像。apache/kudu 是官方 Kudu 镜像。
  
• ${KUDU_QUICKSTART_VERSION:-latest}：利用环境变量 KUDU_QUICKSTART_VERSION 指定版本，如果未设置，则默认利用 latest。
  
• ports：“7051:7051”：将主机的 7051 端口映射到容器的 7051 端口，用于 Kudu Master 的 RPC 通讯。“8051:8051”：将主机的 8051 端口映射到容器的 8051 端口，用于 Kudu Master 的 Web 界面。
  
• command: [“master”]：指定容器启动时运行的下令，这里启动 Kudu Master 进程。
  
• volumes：kudu-master-1:/var/lib/kudu：将 Docker 卷 kudu-master-1 挂载到容器内的 /var/lib/kudu 目录，用于长期化存储数据。
  
• KUDU_MASTERS：定义了集群中所有 Master 节点的地址，格式为 hostname:port，以逗号分隔。
  

启动服务

1. export KUDU_QUICKSTART_IP=$(ifconfig | grep "inet " | grep -Fv 127.0.0.1 | awk '{print $2}' | tail -1)
2. docker-compose up -d

复制代码

访问服务

1. http://localhost:8051/

复制代码

这样我们的服务就顺遂的启动了：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4