在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

作者简介：金津，智领云高级研发经理，华中科技大学计算机系硕士。加入智领云 8 余年，恒久从事云原生、容器化编排范畴研发工作，主导了智领云自研的 BDOS 应用云平台、云原生大数据平台 KDP 等产物的开辟，并在多个大规模项目中成功实行落地，在大规模容器化编排系统方向有丰富的实践履历。

在 KubeSphere 上部署 KDP

GitHub 地点：https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/install-kdp-on-kubesphere-101.md
技术简介

• KubeKey
  KubeKey 是一个开源的 Kubernetes 安装程序和生命周期管理工具。它支持安装 Kubernetes 集群、KubeSphere 以及其他相干组件。
  
• KubeSphere
  KubeSphere 是一个用于云原生应用程序管理的分布式操作系统，使用 Kubernetes 作为其内核。它提供了即插即用架构，允许第三方应用程序无缝集成到其生态系统中。
  
• Kubernetes Data Platform
  KDP（Kubernetes Data Platform）提供了一个基于 Kubernetes 的现代化混合云原生数据平台，能够使用 Kubernetes 的云原生能力来有用地管理数据平台。KDP 是构建在 Kubernetes 之上的，因此可以与恣意的 Kubernetes 管理平台快速集成。
  

总的来说，KubeSphere 和 KDP 组合在一起，能够为用户提供一套完善的、强大的、基于 Kubernetes 的现代化云原生应用数据平台。未来，通过 KubeSphere 的 LuBan 集成框架，可以将 KDP 开辟成为 KubeSphere 的扩展组件，从而进一步深度融合进 KubeSphere。
先决条件

在 Kubernetes 上已安装 KubeSphere（快速开始可参考在 Kubernetes 上最小化安装 KubeSphere）：

KubeSphere 安装完成后，登录 KubeSphere Web 控制台并确保监控组件已启用：

安装 KDP

假设您已经在一个 v1.26.x Kubernetes 集群上安装了 KubeSphere ，并开启了监控套件。
安装 KDP 下令行工具

• 可选使用本地终端工具或 KubeSphere 网页终端举行操作：
  
  
  
  • 通过本地 Shell：打开您计算机上的 Bash 或 Zsh 终端。
    
  • 通过 Web Kubectl：
    
  
  

• 在网页或本地终端中，请执行以下下令以安装 KDP 下令行工具（注：若使用网页终端，因其无状态特性，每次新建立会话都需要重新安装 KDP 下令行工具）：
  

1. # 下载 KDP CLI（设置环境变量'VERSION'为所需版本号）
2. export VERSION=v1.1.0
3. wget https://github.com/linktimecloud/kubernetes-data-platform/releases/download/${VERSION}/kdp-${VERSION}-linux-amd64.tar.gz
4. tar xzf kdp-${VERSION}-linux-amd64.tar.gz
5. mkdir -p ~/.local/bin
6. install -v ./linux-amd64/kdp ~/.local/bin
7. export PATH=$PATH:$HOME/.local/bin
9. kdp version

复制代码

安装 KDP 基础平台

执行以下下令以安装 KDP 基础平台：

1. # 注：请关注以下参数：
2. # - `openebs.enabled=false`：跳过 KDP 内置 OpenEBS hostpath provisioner 组件的安装
3. # - `storageConfig.storageClassMapping.localDisk=local`：使用 KubeSphere 上的内置 StorageClass，你也可以将 `local` 更改为其他现有的 SC
4. # - `prometheusCRD.enabled=false`：跳过 KDP 内置 Prometheus CRD 的安装
5. # - `prometheus.enabled=false`：跳过 KDP 内置 Prometheus Operator 的安装
6. # - `prometheus.externalUrl=http://prometheus-operated.kubesphere-monitoring-system.svc:9090`：使用 KubeSphere 上的内置 Prometheus 服务
7. kdp install \
8. --force-reinstall \
9. --set openebs.enabled=false \
10. --set storageConfig.storageClassMapping.localDisk=local \
11. --set prometheusCRD.enabled=false \
12. --set prometheus.enabled=false \
13. --set prometheus.externalUrl=http://prometheus-operated.kubesphere-monitoring-system.svc:9090

复制代码

访问 KDP UX

• 等待安装完成：
  

• 转到 KubeSphere Web 控制台，并在菜单 “应用负载” -> “应用路由” 中找到名为 'kdp-ux' 的应用路由对象：
  

• 点击并进入'kdp-ux'应用路由的详细页面，然后点击路径'/'的'访问服务'按钮，KDP UX 将在新标签页中打开：
  

• 您如今可以使用 KDP Web 控制台来建设本身的数据平台。有关使用数据组件的更多教程，请参考教程目次：
  

在 KDP 上快速交付 Kafka

KDP 提供开箱即用的开源 Kafka K8s 运行时，主要包括：Strimzi Kafka Operator、Kafka Cluster、Kafka Manager 等。用户通过 KDP 可以高效便捷地交付和运维 Kafka 套件，KDP 为数据组件运行时提供完善的生命周期管理以及监控、告警、日志的自动化集成。
Kafka 简介

Kafka，Apache Kafka 是一个分布式事件流平台。基于 Kafka，可以构建高吞吐量、高扩展性的消息中心件服务。适用于日志采集、流式数据处理、流量削峰填谷等场景。Kafka 具备高可靠、高并发访问、可扩展的特性是大数据生态系统中不可或缺的组成部分。
在 KDP 上部署 Kafka 套件

以下展示的是如安在 KDP 上快速交付 Kafka 套件：

• 通过 KDP 应用目次安装 Kafka Operator 及 Kafka Cluster
  

• 部署过程中可以实时查看 Pod 日志
  

• 待 ZK 集群与 Kakfa 集群所有 Pod 运行停当
  

• KDP 提供应用实例下所有底层 K8s 资源拓扑展示
  

• 待 Kafka Cluster 运行正常后，继承安装好 Kafka Manager；完成后，应用实例界面右上角可快速打开 Kafka Manager 的页面
  

创建一个 Topic

以上我们已经在 KDP 上快速交付了一套 Kafka Cluster 以及 Kafka Manager（开源的 Kafka 界面管理工具），接下来我们基于 Kafka 界面管理工具来创建一个 Topic：

• 进入 Kafka Manager 界面，可以看到已自动导入我们安装好的 Kafka Cluster
  

• 在 Kafka Manager 界面上创建一个 topic "my-2nd-topic"
  

• 完成后，在 Topic 列表中可以看到我们新建的 topic
  

• 从 KDP 内置的监控面板上 topic 的指标数据中，我们也可以观测到 topic 数量从 1 变为了 2
  

相干链接

• 【教程文档】在 KubeSphere 上安装 KDP 101：
  https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/user-tutorials/install-kdp-on-kubesphere-101.html
  
• 【教程文档】如何与 KDP 上的 Kafka 快速集成：
  https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/user-tutorials/integration-kafka-with-int-ext-comps.html
  

本文由博客一文多发平台 OpenWrite 发布！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。