Kafka REST Proxy 使用教程

Kafka REST Proxy 使用教程

    kafka-rest kafka-rest: 提供了一个RESTful接口来与Kafka集群交互，方便进行数据生产和消耗，以及执行管理操作。  

项目地址: https://gitcode.com/gh_mirrors/ka/kafka-rest   
1. 项目介绍

Kafka REST Proxy 是 Confluent 公司开发的一个 RESTful 接口，用于与 Kafka 集群进行交互。它简化了生产者和消耗者的数据处理，查看集群状态以及执行管理操作，而无需使用原生的 Kafka 协议或客户端。Kafka REST Proxy 实用于各种场景，包罗从任何前端应用向 Kafka 报告数据，将数据摄取到尚不支持 Kafka 的流处理框架中，以及编写管理操作脚本。
2. 项目快速启动

2.1 安装 Kafka REST Proxy

你可以从 Confluent Platform 下载预构建版本的 Kafka REST Proxy。假如你希望从源代码安装，请按照以下步骤操作：

1. git clone https://github.com/confluentinc/kafka-rest.git
2. cd kafka-rest
3. mvn clean package

复制代码

2.2 设置和启动 Kafka REST Proxy

Kafka REST Proxy 包含一个内置的 Jetty 服务器，可以通过设置毗连到现有的 Kafka 集群。运行以下命令启动服务：

1. bin/kafka-rest-start config/kafka-rest.properties

复制代码

2.3 使用 v3 API 进行快速操作

2.3.1 获取集群信息

1. curl http://localhost:8082/v3/clusters

复制代码

2.3.2 获取主题列表

1. curl http://localhost:8082/v3/clusters
2. /xFhUvurESIeeCI87SXWR-Q/topics

复制代码

2.3.3 创建新主题

1. curl -X POST -H "Content-Type:application/json" -d '{"topic_name":"jsontest"}' \
2. http://localhost:8082/v3/clusters/xFhUvurESIeeCI87SXWR-Q/topics

复制代码

2.3.4 生产 JSON 数据记载

1. curl -X POST -H "Content-Type: application/json" \
2. -d '{"value":{"type":"JSON","data":{"name":"testUser"}}}' \
3. http://localhost:8082/v3/clusters/xFhUvurESIeeCI87SXWR-Q/topics/jsontest/records

复制代码

3. 应用案例和最佳实践

3.1 从任何前端应用报告数据

Kafka REST Proxy 答应任何支持 HTTP 请求的前端应用将数据报告到 Kafka 集群。比方，一个基于 JavaScript 的 Web 应用可以通过 AJAX 请求将用户活动数据发送到 Kafka。
3.2 流处理框架的数据摄取

对于那些尚未原生支持 Kafka 的流处理框架，Kafka REST Proxy 提供了一个便捷的接口来摄取数据。比方，Apache Flink 可以通过 REST Proxy 将数据摄取到 Kafka 中，然后再进行流处理。
3.3 管理操作脚本

Kafka REST Proxy 还可以用于编写管理操作脚本，比方主动化主题创建、监控集群状态等。
4. 典型生态项目

4.1 Confluent Platform

Confluent Platform 是一个完整的 Kafka 生态系统，包罗 Kafka、Kafka Connect、Kafka Streams 和 Kafka REST Proxy 等组件。它提供了一个全面的办理方案，用于构建和管理及时数据管道和流应用。
4.2 Apache Kafka

Apache Kafka 是一个分布式流处理平台，广泛用于构建及时数据管道和流应用。Kafka REST Proxy 作为 Kafka 的增补，提供了 RESTful 接口，使得与 Kafka 的交互更加机动和便捷。
4.3 Apache Flink

Apache Flink 是一个开源的流处理框架，支持高吞吐量和低耽误的数据处理。通过 Kafka REST Proxy，Flink 可以方便地与 Kafka 集成，实现数据的及时处理和分析。
    kafka-rest kafka-rest: 提供了一个RESTful接口来与Kafka集群交互，方便进行数据生产和消耗，以及执行管理操作。  

项目地址: https://gitcode.com/gh_mirrors/ka/kafka-rest   

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。