大数据-146 Apache Kudu 安装运行 Dockerfile 模仿集群 启动测试 ...

卖不甜枣  金牌会员 | 2024-10-12 00:32:53 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 922|帖子 922|积分 2766

点一下关注吧！！！非常感谢！！持续更新！！！

现在已经更新到了：



  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（正在更新…）
章节内容

上节我们完成了如下的内容：


  • Kudu 的根本先容
  • Kudu 的架构概述

安装准备

硬件准备



  • 一台大概多台跑kudu-master。建议一个Master（无容错机制）、三个Master（答应一个节点堕落）、五个Master（答应两个节点堕落）
  • 一台大概多台呆板跑kudu-server。当必要利用副本，至少必要三个节点运行kudu-server服务。
操作系统



  • Ubuntu云服务器（我的环境是三台小云服务器）
  • 内核和文件系统支持 Hole Punching 选项。
  • NTP 服务
  • xfs or ext4 formatterd drivers
存储要求



  • 尽量利用固态存储，显著提供kudu性能
环境说明



  • 如果你利用的是CDH，必要ClouderaManager 5.4.3 及以上的版本。
  • 三台云服务器，h121启动Master，h122和123启动TabletServer。
Dockerfile

  1. https://github.com/apache/kudu/blob/master/docker/quickstart.yml
复制代码
官方的配置文件为：


  • 3个Master
  • 4个TabletServer
  1. # Licensed to the Apache Software Foundation (ASF) under one
  2. # or more contributor license agreements.  See the NOTICE file
  3. # distributed with this work for additional information
  4. # regarding copyright ownership.  The ASF licenses this file
  5. # to you under the Apache License, Version 2.0 (the
  6. # "License"); you may not use this file except in compliance
  7. # with the License.  You may obtain a copy of the License at
  8. #
  9. #   http://www.apache.org/licenses/LICENSE-2.0
  10. #
  11. # Unless required by applicable law or agreed to in writing,
  12. # software distributed under the License is distributed on an
  13. # "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
  14. # KIND, either express or implied.  See the License for the
  15. # specific language governing permissions and limitations
  16. # under the License.
  17. version: "3"
  18. services:
  19.   kudu-master-1:
  20.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  21.     ports:
  22.       - "7051:7051"
  23.       - "8051:8051"
  24.     command: ["master"]
  25.     volumes:
  26.       - kudu-master-1:/var/lib/kudu
  27.     environment:
  28.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  29.       # TODO: Use `host.docker.internal` instead of KUDU_QUICKSTART_IP when it
  30.       # works on Linux (https://github.com/docker/for-linux/issues/264)
  31.       - >
  32.         MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
  33.         --rpc_bind_addresses=0.0.0.0:7051
  34.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP:?Please set KUDU_QUICKSTART_IP environment variable}:7051
  35.         --webserver_port=8051
  36.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8051
  37.         --webserver_doc_root=/opt/kudu/www
  38.         --stderrthreshold=0
  39.         --use_hybrid_clock=false
  40.         --unlock_unsafe_flags=true
  42.   kudu-master-2:
  43.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  44.     ports:
  45.       - "7151:7151"
  46.       - "8151:8151"
  47.     command: ["master"]
  48.     volumes:
  49.       - kudu-master-2:/var/lib/kudu
  50.     environment:
  51.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  52.       - >
  53.         MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
  54.         --rpc_bind_addresses=0.0.0.0:7151
  55.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7151
  56.         --webserver_port=8151
  57.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8151
  58.         --webserver_doc_root=/opt/kudu/www
  59.         --stderrthreshold=0
  60.         --use_hybrid_clock=false
  61.         --unlock_unsafe_flags=true
  62.   kudu-master-3:
  63.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  64.     ports:
  65.       - "7251:7251"
  66.       - "8251:8251"
  67.     command: ["master"]
  68.     volumes:
  69.       - kudu-master-3:/var/lib/kudu
  70.     environment:
  71.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  72.       - >
  73.         MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
  74.         --rpc_bind_addresses=0.0.0.0:7251
  75.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7251
  76.         --webserver_port=8251
  77.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8251
  78.         --webserver_doc_root=/opt/kudu/www
  79.         --stderrthreshold=0
  80.         --use_hybrid_clock=false
  81.         --unlock_unsafe_flags=true
  82.   kudu-tserver-1:
  83.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  84.     depends_on:
  85.       - kudu-master-1
  86.       - kudu-master-2
  87.       - kudu-master-3
  88.     ports:
  89.       - "7050:7050"
  90.       - "8050:8050"
  91.     command: ["tserver"]
  92.     volumes:
  93.       - kudu-tserver-1:/var/lib/kudu
  94.     environment:
  95.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  96.       - >
  97.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
  98.         --rpc_bind_addresses=0.0.0.0:7050
  99.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7050
  100.         --webserver_port=8050
  101.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8050
  102.         --webserver_doc_root=/opt/kudu/www
  103.         --stderrthreshold=0
  104.         --use_hybrid_clock=false
  105.         --unlock_unsafe_flags=true
  106.   kudu-tserver-2:
  107.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  108.     depends_on:
  109.       - kudu-master-1
  110.       - kudu-master-2
  111.       - kudu-master-3
  112.     ports:
  113.       - "7150:7150"
  114.       - "8150:8150"
  115.     command: ["tserver"]
  116.     volumes:
  117.       - kudu-tserver-2:/var/lib/kudu
  118.     environment:
  119.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  120.       - >
  121.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
  122.         --rpc_bind_addresses=0.0.0.0:7150
  123.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7150
  124.         --webserver_port=8150
  125.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8150
  126.         --webserver_doc_root=/opt/kudu/www
  127.         --stderrthreshold=0
  128.         --use_hybrid_clock=false
  129.         --unlock_unsafe_flags=true
  130.   kudu-tserver-3:
  131.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  132.     depends_on:
  133.       - kudu-master-1
  134.       - kudu-master-2
  135.       - kudu-master-3
  136.     ports:
  137.       - "7250:7250"
  138.       - "8250:8250"
  139.     command: ["tserver"]
  140.     volumes:
  141.       - kudu-tserver-3:/var/lib/kudu
  142.     environment:
  143.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  144.       - >
  145.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
  146.         --rpc_bind_addresses=0.0.0.0:7250
  147.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7250
  148.         --webserver_port=8250
  149.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8250
  150.         --webserver_doc_root=/opt/kudu/www
  151.         --stderrthreshold=0
  152.         --use_hybrid_clock=false
  153.         --unlock_unsafe_flags=true
  154.   kudu-tserver-4:
  155.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  156.     depends_on:
  157.       - kudu-master-1
  158.       - kudu-master-2
  159.       - kudu-master-3
  160.     ports:
  161.       - "7350:7350"
  162.       - "8350:8350"
  163.     command: ["tserver"]
  164.     volumes:
  165.       - kudu-tserver-4:/var/lib/kudu
  166.     environment:
  167.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  168.       - >
  169.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
  170.         --rpc_bind_addresses=0.0.0.0:7350
  171.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7350
  172.         --webserver_port=8350
  173.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8350
  174.         --webserver_doc_root=/opt/kudu/www
  175.         --stderrthreshold=0
  176.         --use_hybrid_clock=false
  177.         --unlock_unsafe_flags=true
  178.   kudu-tserver-5:
  179.     image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  180.     depends_on:
  181.       - kudu-master-1
  182.       - kudu-master-2
  183.       - kudu-master-3
  184.     ports:
  185.       - "7450:7450"
  186.       - "8450:8450"
  187.     command: ["tserver"]
  188.     volumes:
  189.       - kudu-tserver-5:/var/lib/kudu
  190.     environment:
  191.       - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  192.       - >
  193.         TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
  194.         --rpc_bind_addresses=0.0.0.0:7450
  195.         --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7450
  196.         --webserver_port=8450
  197.         --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8450
  198.         --webserver_doc_root=/opt/kudu/www
  199.         --stderrthreshold=0
  200.         --use_hybrid_clock=false
  201.         --unlock_unsafe_flags=true
  202. volumes:
  203.   kudu-master-1:
  204.   kudu-master-2:
  205.   kudu-master-3:
  206.   kudu-tserver-1:
  207.   kudu-tserver-2:
  208.   kudu-tserver-3:
  209.   kudu-tserver-4:
  210.   kudu-tserver-5:
复制代码
内容表明



  • version: “3”：指定利用 Docker Compose 文件的版本。版本 3 是当前常用的版本，支持多种高级功能，适用于 Docker 1.13.0 及更高版本。
  • services：定义了多个服务，每个服务对应一个 Docker 容器。在本配置中，定义了多个 Kudu Master 和 Kudu Tablet Server（简称 TServer）。
  • volumes：定义了长期化存储卷，用于存储各个服务的数据，确保即使容器重新创建或删除，数据仍然保存。
3 个 Kudu Master 节点：


  • kudu-master-1
  • kudu-master-2
  • kudu-master-3
5 个 Kudu Tablet Server 节点：


  • kudu-tserver-1
  • kudu-tserver-2
  • kudu-tserver-3
  • kudu-tserver-4
  • kudu-tserver-5
Master

每个 Master 节点的配置根本雷同，只是端口和长期化卷不同。以下以 kudu-master-1 为例举行表明：
  1. kudu-master-1:
  2.   image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  3.   ports:
  4.     - "7051:7051"
  5.     - "8051:8051"
  6.   command: ["master"]
  7.   volumes:
  8.     - kudu-master-1:/var/lib/kudu
  9.   environment:
  10.     - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
  11.     - >
  12.       MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
  13.       --rpc_bind_addresses=0.0.0.0:7051
  14.       --rpc_advertised_addresses=${KUDU_QUICKSTART_IP:?Please set KUDU_QUICKSTART_IP environment variable}:7051
  15.       --webserver_port=8051
  16.       --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8051
  17.       --webserver_doc_root=/opt/kudu/www
  18.       --stderrthreshold=0
  19.       --use_hybrid_clock=false
  20.       --unlock_unsafe_flags=true
复制代码


  • udu-master-1：服务名称，标识第一个 Kudu Master 节点。
  • image: apache/kudu{KUDU_QUICKSTART_VERSION:-latest}：指定利用的 Docker 镜像。apache/kudu 是官方 Kudu 镜像。
  • ${KUDU_QUICKSTART_VERSION:-latest}：利用环境变量 KUDU_QUICKSTART_VERSION 指定版本，如果未设置，则默认利用 latest。
  • ports：“7051:7051”：将主机的 7051 端口映射到容器的 7051 端口，用于 Kudu Master 的 RPC 通讯。“8051:8051”：将主机的 8051 端口映射到容器的 8051 端口，用于 Kudu Master 的 Web 界面。
  • command: [“master”]：指定容器启动时运行的下令，这里启动 Kudu Master 进程。
  • volumes：kudu-master-1:/var/lib/kudu：将 Docker 卷 kudu-master-1 挂载到容器内的 /var/lib/kudu 目录，用于长期化存储数据。
  • KUDU_MASTERS：定义了集群中所有 Master 节点的地址，格式为 hostname:port，以逗号分隔。
启动服务

  1. export KUDU_QUICKSTART_IP=$(ifconfig | grep "inet " | grep -Fv 127.0.0.1 | awk '{print $2}' | tail -1)
  2. docker-compose up -d
复制代码
访问服务

  1. http://localhost:8051/
复制代码
这样我们的服务就顺遂的启动了：


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

卖不甜枣

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

存储 挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表