TapData 信创数据源 | 国产信创数据库 TDengine 数据同步指南，加速国产化
随着国家对自主可控的日益重视，目前在各个行业和地区中面对越来越多的国产化，采用有自主知识产权的国产数据库正在成为主流。恒久以来，作为拥有纯国产自研背景的 TapData，自是非常重视对于更多国产信创数据库的数据毗连器支持，旗下产物已连续与阿里云、华为云、麒麟软件、优炫数据库、Apache Doris、人大金仓、OceanBase 等国产数据库及操作系统完成产物生态集成认证或产物兼容互认证。本专题将以 TapData 正在支持的各国产信创数据源为原点，提供详细的数据库同步、迁徙教程，为有需求的用户提供更机动的工具选择。本文将介绍的 TapData 数据源为——TDengine。
国产化浪潮之下，底子软件自主可控迫在眉睫，越来越多的国内企业开始从 Oracle、MySQL 这一类海外数据库向国产数据库迁徙，TapData 的能力恰好满足企业快速、无痛实现迁徙的需求，有效推动信创行业国产化建设更进一步。信创领域和底子软件设施的自主可控作为国家重点关注领域，全面国产化替代的历程仍在全速前进中。
同为国产底子软硬件生态的积极建设者，TapData 一直以来都在坚持拓展并连续深化与更多国产信创数据库的生态与战略同伴关系，以期推动更多行业数据管理办理方案及创新应用的落地，提供更加广泛的底子设施选择及技术服务保障，从而为加速国产软硬件产物的应用普及与协同发展贡献气力。纯国产自研的背景更是为 TapData 的这一发展目标添翼。目前，TapData 已成功实现对主流国产数据库的广泛支持，以 TDengine 为例：
TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台，它能安全高效地将大量装备、数据采集器每天产生的高达 TB 乃至 PB 级的数据举行汇聚、存储、分析和分发，对业务运行状态举行实时监测、预警，提供实时的商业洞察。其焦点模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS。
别的，作为 2024年8月墨天轮中国数据库流行度排行榜上的时序数据库 Top1，TDengine 广泛适用于 IoT、工业互联网、车联网、IT 运维、能源、金融证券等领域场景。截至目前，已在 GitHub 上得到 23.1k Star，曾多次在 GitHub 环球趋势排行榜上排名第一，环球运行的 TDengine 实例数超过 588.4k，用户遍布环球。
那么，如何高效实现 TDengine 的数据同步？
一、TDengine 数据迁徙与同步方案
更多详情，参见《TDengine 产物文档》：https://docs.taosdata.com/
关于 TDengine 的迁徙和同步，有多种适用的方案和工具可供选择，其中比力常见的包括手动方案，以及基于 DataX 或是 TapData 这一类数据同步工具的当代化数据办理方案。
手动迁徙与同步
手动迁徙与同步是最基本的方案，通常适用于小规模数据迁徙或一次性数据迁徙任务。该方法涉及从源数据库导出数据，通过脚本或工具将数据转换为 TDengine 兼容的格式，末了将数据导入 TDengine。尽管手动方案可以完全控制迁徙过程，但其操作也相对复杂，容易出现错误，且不恰当大规模数据迁徙或必要频繁同步的场景。
手动迁徙数据必要注意以下两个问题：
1）在磁盘中存储导出数据时，磁盘必要有足够的存储空间以便能够充实容纳导出的数据文件。为了避免全量数据导出后导致磁盘文件存储告急，可以采用部分导入的模式，对于归属于同一个超等表的时间线优先导出，然后将导出部分的数据文件导入到 TDengine 系统中。
2）在系统全负载运行下，如果有足够的剩余盘算和 IO 资源，可以建立多线程的导入机制，最大限度地提升数据迁徙的效率。考虑到数据解析对于 CPU 带来的巨大负载，必要控制最大的并行任务数量，以避免因导入汗青数据而触发的系统整体过载。
基于数据同步工具的办理方案
[*]DataX
DataX 是阿里云 DataWorks 数据集成的开源版本，支持多种数据源与目标之间的数据迁徙与同步。通过配置 DataX，可以实现从关系型数据库、Hadoop、NoSQL 等多种数据源向 TDengine 的数据同步。DataX 提供了简洁的 JSON 配置方式，用户只需界说源数据、目标数据和转换逻辑即可。DataX 恰当必要频繁同步且数据量较大的场景，但对实时性要求较高的场景支持有限。
除此之外，为了方便汗青数据的迁徙工作，TDengine 为 DataX 提供了适配 TDengine 3.0 的插件—— TDengine30Reader 和 TDengine30Writer，能够将数据自动写入到 TDengine 中，必要注意的是 DataX 的自动化数据迁徙只能够支持单值模子的数据迁徙过程。目前可以做到 OpenTSDB、MySQL、TDengine**(Time Series DataBase,TSDB**) 等差别数据源之间的数据迁徙。
TDengine30Reader 提供的功能：
[*]支持通过 SQL 举行数据筛选；
[*]根据时间间隔举行任务切分；
[*]支持 TDengine 的全部数据类型；
[*]支持批量读取，通过 batchSize 参数控制批量拉取效果集的巨细，进步读取性能。
TDengine30Writer 支持的功能：
[*]支持 OpenTSDB 的 json 格式的行协议，使用 TDengine 的 schemaless 方式写入 TDengine。
[*]支持批量写入，通过 batchSize 参数控制批量写入的数量，进步写入性能。
[*]TapData
TapData 专注于激发实时数据的应用代价，是一款以低延迟数据移动为焦点优势构建的当代数据平台型工具，以出色的 CDC（Change Data Capture，变更数据捕获）能力和会合数据中心架构为关键特性，旨在以新颖的方式办理恒久存在的数据集成问题。TapData 内置 100+ 数据毗连器，支持多种数据源和目标之间的实时数据集成，且具有高度的可扩展性和自动化特性。其可视化配置界面简化了复杂的数据同步流程，恰当企业级的实时数据集成需求。
[*]DataX vs Dataworks vs TapData
https://i-blog.csdnimg.cn/direct/9444bb14af5e44e198ad9f3a95d3af9e.png#pic_center
二、TapData 高效同步教程：以 TDengine → RDS MySQL 为例
更多详情，参见《TapData 资助文档-毗连数据源-自建数据库 TDengine》：
https://docs.tapdata.net/prerequisites/on-prem-databases/tdengine
完成 TapData Agent 部署后，即可跟随以下教程在 TapData 中添加 TDengine 数据毗连（支持版本：TDengine 3.x），后续可将其作为源或目标库来构建数据管道。这里我们将以 TDengine 为数据源，RDS MySQL 为数据目标举行模仿演示。（*涉及工具版本为 TapData 本地部署版）
① 条件条件
由于TapData 采用 REST 方式毗连至 TDengine，在配置毗连前，您必要在 TDengine 所属服务器上执行 sudo systemctl start taosadapter 命令开启 taosAdapter 服务。
*提示：如希望 TapData 读取 TDengine 的增量数据，您还必要在 Agent 所属服务器上安装 TDengine 客户端驱动。
② 创建 TDengine 的毗连
[*]进入 TapData 控制台，在左侧导航栏，单击毗连管理。
[*]单击页面右侧的创建，在弹框中，搜索并选择 TDengine。
[*]在跳转到的页面，根据下述阐明填写 PolarDB 毗连信息：
https://i-blog.csdnimg.cn/direct/e8f7a8c91f5e4af4ae2e827da46e3273.png#pic_center- 毗连名称：填写具有业务意义的独有名称。
[*]毗连类型：支持同时作为源或目标。
[*]所在：填写数据库的毗连所在。
[*]端口：填写 taosAdapter 的服务端口，默认为 6041。
[*]数据库：数据库名称，一个毗连对应一个数据库，如有多个数据库则需创建多个数据毗连。
[*]账号、密码：分别填写数据库账号和密码。
[*]毗连参数：额外的毗连参数，默认为空。
[*]时区：默认为数据库所用的时区，您也可以根据业务需求手动指定。
[*]包罗表：默认为全部，您也可以选择自界说并填写包罗的表，多个表之间用英文逗号（,）分隔。
[*]清除表：打开该开关后，可以设定要清除的表，多个表之间用英文逗号（,）分隔。
[*]Agent 设置：默认为平台自动分配，您也可以手动指定 Agent。
[*]单击毗连测试，测试通过后单击保存：
https://i-blog.csdnimg.cn/direct/f339328b7378415a98dbd57963acc16b.png#pic_center*提示：如提示毗连测试失败，请根据页面提示举行修复。
③ 创建 RDS MySQl 的毗连
[*]参照 TDengine 毗连创建流程，完成 RDS MySQL 毗连配置信息填写，添加数据目标：
https://i-blog.csdnimg.cn/direct/1120715a38bb452b998c7d66f925e35c.png#pic_center2. 测试 RDS MySQL 的毗连：
https://i-blog.csdnimg.cn/direct/9346a001052c4e068a1a49bd3a908696.png#pic_center
④ 创建数据复制/开辟任务
1.左侧导航栏点击数据复制，并点击右侧创建：
https://i-blog.csdnimg.cn/direct/c5d053a9c55c481f9d27294a5454c5db.png#pic_center2. 进入 DAG 页面，构建数据复制任务，通过拖沓拽的方式添加源与目标节点，并毗连源与目标
https://i-blog.csdnimg.cn/direct/60cf3262432245dcb933848ab540d173.png#pic_center3. 单击源与目标节点，即可按需对二者举行设置：
https://i-blog.csdnimg.cn/direct/5cf79cae624e4776b853e581dff614a1.png#pic_center4. 保存任务
https://i-blog.csdnimg.cn/direct/cb489fe88b2d4a2a86fab354b2c18605.png#pic_center⑤ 任务启动与监控
[*]启动任务，任务全量同步正常运行：
https://i-blog.csdnimg.cn/direct/c1bab8d0979347c8961d06f62f082a48.png#pic_center2. 增量同步开启
https://i-blog.csdnimg.cn/direct/6c2db45af359473e96f5a15f4843a6a2.png#pic_center
以上，便是借助 TapData 快速实现 TDengine 到 RDS MySQL 的全、增量同步的模仿教程。
后续，我们还将连续输出 GaussDB、人大金仓Kingbase、神州通用、南大通用、OpenGauss、瀚高、TDSQL、VastBase 等热门国产数据源的毗连教程，欢迎关注 TapData 官方公众号，了解更多。
【推荐阅读】：
[*]制造业数字化转型创新思绪 |《数智新期间制造业数字化创新实践白皮书》上线！
[*]TapData 信创数据源 | 国产信创数据库 OceanBase数据同步指南，加速国产化历程，推进自主创新建设
[*]TapData 信创数据源 | 国产信创数据库 TiDB数据迁徙指南，加速国产化历程，推进自主创新建设
[*]TapData 信创数据源 |国产信创数据库达梦（Dameng）数据迁徙指南，加速国产化历程，推进自主创新建设
[*]ETL vs. ELT：数据集成的最佳实践是什么？
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]