SeaTunnel怎样创建Socket数据同步作业?

打印 上一主题 下一主题

主题 1842|帖子 1842|积分 5526


本文为Apache SeaTunnel Socket Connector的使用文档,旨在帮助用户快速理解和有效利用Socket Connector,助力用户的应用程序实现高效、稳定的网络通信。
Socket是应用层与TCP/IP协议族之间进行通信的中间软件抽象层,它是网络编程的基础,通过Socket,应用程序可以在网络上发送和吸取数据。无论是构建实时聊天应用、数据采集系统,还是需要实现设备之间的通信,Socket Connector都能为用户提供支持。
支持的引擎

Spark

Flink

SeaTunnel Zeta

主要功能

描述

用于从Socket中读取数据。
数据范例映射

文件没有特定的范例列表,我们可以通过在设置中指定 Schema 来指示需要将相应数据转换为的SeaTunnel数据范例。
SeaTunnel数据范例字符串短整数整数长整数布尔值双精度浮点数十进制数浮点数日期时间时间戳字节数组映射选项

名称范例必填默认值描述主机字符串是_Socket服务器主机端口整数是_Socket服务器端口通用选项否-Source 插件通用参数,请参阅Source 通用选项获取具体信息。怎样创建Socket数据同步作业


  • 设置SeaTunnel设置文件
以下示例演示了怎样创建一个从Socket读取数据并将其打印在本地客户端上的数据同步作业:
  1. # 设置要执行的任务的基本配置
  2. env {
  3.   execution.parallelism = 1
  4.   job.mode = "BATCH"
  5. }
  6. # 创建一个连接到Socket的源
  7. source {
  8.     Socket {
  9.         host = "localhost"
  10.         port = 9999
  11.     }
  12. }
  13. # 控制台打印读取的Socket数据
  14. sink {
  15.   Console {
  16.     parallelism = 1
  17.   }
  18. }
复制代码

  • 启动端口监听
  1. nc -l 9999
复制代码

  • 启动SeaTunnel使命
  • Socket源发送测试数据
  1. ~ nc -l 9999
  2. test
  3. hello
  4. flink
  5. spark
复制代码

  • 控制台Sink打印数据
  1. [test]
  2. [hello]
  3. [flink]
  4. [spark]
复制代码
本文由 白鲸开源 提供发布支持!

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

河曲智叟

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表