嚴華 发表于 2024-9-10 09:54:44

DataX(Doris同步数据到SelectDB)

背景

由于之前的doris数仓在当地的服务器,当数据量越来越大,服务器的性能达不到要求,查询数据常常超时,故需要把当地的doris数仓部署到云上,本文以阿里云为例,迁移工具使用的阿里开源的datax。
datax官方文档
预备

起首使用navicat连接上源数据库与目标数据库

https://i-blog.csdnimg.cn/direct/f1cdcd5f03b149d7a5c233a713087896.png
阿里云数仓
https://i-blog.csdnimg.cn/direct/f67b3856b1584a13af0404e9829b6ddf.png
https://i-blog.csdnimg.cn/direct/5f697b56251d4e48bc4edbc76bc9eed3.png
https://i-blog.csdnimg.cn/direct/f8f613eb7e8b4290b9cfbebf624060ef.png
https://i-blog.csdnimg.cn/direct/52081a58371f432da3d809ba8d7f0562.png
在目标数据创建需要迁移的表

源数据库上面执行下面的语句得到建表语句
show CREATE TABLE your_table;
https://i-blog.csdnimg.cn/direct/43109a060c4241d6a3393575b890aa2d.png
然后拿到建表语句去目标数据库执行。
datax工具安装

情况

   Linux大概windows
JDK(1.8以上,保举1.8)
Python(2或3都可以)
Apache Maven 3.x (Compile DataX)
方法一、直接下载DataX工具包:DataX下载地点

下载后解压至当地某个目录,进入bin目录,即可运行同步作业:
$ cd{YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
自检脚本:python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json
方法二、下载DataX源码,自己编译:DataX源码

(1)、下载DataX源码:
$ git clone git@github.com:alibaba/DataX.git
(2)、通过maven打包:
$ cd{DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
打包乐成,日志显示如下:
BUILD SUCCESS
-----------------------------------------------------------------
Total time: 08:12 min
Finished at: 2015-12-13T16:26:48+08:00
Final Memory: 133M/960M
-----------------------------------------------------------------
打包乐成后的DataX包位于 {DataX_source_code_home}/target/datax/datax/,布局如下:
$ cd{DataX_source_code_home}
$ ls ./target/datax/datax/
bin                conf                job                lib                log                log_perf        plugin                script                tmp
配置示例:从stream读取数据并打印到控制台

第一步、创建作业的配置文件(json格式)
可以通过命令检察配置模板: python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py -r streamreader -w selectdbwriter
PS C:\Users\zhubayi\Downloads\datax\datax\bin> python datax.py -r streamreader -w selectdbwriter

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the streamreader document:
   https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md

Please refer to the selectdbwriter document:
   https://github.com/alibaba/DataX/blob/master/selectdbwriter/doc/selectdbwriter.md

Please save the following configuration as a json file anduse
   python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.

{
    "job": {
      "content": [
            {
                "reader": {
                  "name": "streamreader",
                  "parameter": {
                        "column": [],
                        "sliceRecordCount": ""
                  }
                },
                "writer": {
                  "name": "selectdbwriter",
                  "parameter": {
                        "column": [],
                        "connection": [
                            {
                              "jdbcUrl": "",
                              "selectedDatabase": "",
                              "table": []
                            }
                        ],
                        "loadProps": {},
                        "loadUrl": [],
                        "password": "",
                        "postSql": [],
                        "preSql": [],
                        "username": ""
                  }
                }
            }
      ],
      "setting": {
            "speed": {
                "channel": ""
            }
      }
    }
}
dorisreader和selectdbwriter配置

{
"core":{
    "transport": {
      "channel": {
      "speed": {
          "byte": 536870912000,
          "record": 1000000
      }
      }
    }
},
"job": {
    "content": [{
      "reader": {
      "name": "dorisreader",
      "parameter": {
          "column": ["id", "name", "nick_name", "age"],
          "connection": [{
            "jdbcUrl": ["jdbc:mysql://127.0.0.1:9030/test?useSSL=false"],
            "table": ["t1"]
          }],
          "username": "root",
          "password": "123456",
          "splitPk": "id",
          "where": ""
      }
      },
      "writer": {
      "name": "selectdbwriter",
      "parameter": {
          "loadUrl": [
            "192.168.3.123:8080"
          ],
          "loadProps": {
            "file.type": "json",
            "file.strip_outer_array": true
          },
          "column": ["id", "name", "nick_name", "age"],
          "username": "admin",
          "password": "123456",
          "postSql": [

          ],
          "preSql": [

          ],
          "connection": [{
            "jdbcUrl": "jdbc:mysql://192.168.3.123:9030/test?useSSL=false",
            "table": [
            "t1"
            ],
            "selectedDatabase": "test"
          }],
          "maxBatchRows": 1000000,
          "maxBatchByteSize": 536870912000
      }
      }
    }],
    "setting": {
      "speed": {
      "channel": "1"
      },
      "errorLimit": {
      "record": 0,
      "percentage": 0
      }
    }
}
}


这个任务配置文件包罗了一个名为“job”的任务,它有两个子节点:setting和content。此中,setting节点包罗了任务的一些设置,例如并发通道数;content节点则包罗了数据读取和写入的详细配置信息。
core与job参数先容

配置说明core.transport.channel.speed.byte单个channel容纳最多的字节数core.transport.channel.speed.record单个channel容纳最多的record数job.setting.speed.channel该job所需要的channel的个数job.setting.speed.byte该job最大的流量job.setting.speed.record该job最大的record流量 reader参数说明

官方dorisreader配置地点


[*] jdbcUrl

[*] 形貌:形貌的是到对端数据库的JDBC连接信息,使用JSON的数组形貌,并支持一个库填写多个连接地点。之以是使用JSON数组形貌连接信息,是因为阿里集团内部支持多个IP探测,假如配置了多个,DorisReader可以依次探测ip的可连接性,直到选择一个合法的IP。假如全部连接失败,DorisReader报错。 留意,jdbcUrl必须包罗在connection配置单元中。对于阿里集团外部使用情况,JSON数组填写一个JDBC连接即可。
[*] 必选:是
[*] 默认值:无

[*] username

[*] 形貌:数据源的用户名
[*] 必选:是
[*] 默认值:无

[*] password

[*] 形貌:数据源指定用户名的暗码
[*] 必选:是
[*] 默认值:无

[*] table

[*] 形貌:所选取的需要同步的表。使用JSON的数组形貌,因此支持多张表同时抽取。当配置为多张表时,用户自己需保证多张表是同一schema布局,DorisReader不予检查表是否同一逻辑表。留意,table必须包罗在connection配置单元中。
[*] 必选:是
[*] 默认值:无

[*] column

[*] 形貌:所配置的表中需要同步的列名集合,使用JSON的数组形貌字段信息。用户使用代表默认使用所有列配置,例如['']。
支持列裁剪,即列可以挑选部分列举行导出。
支持列换序,即列可以不按照表schema信息举行导出。
支持常量配置,用户需要按照Doris SQL语法格式: [“id”, “table”, “1”, “‘bazhen.csy’”, “null”, “to_char(a + 1)”, “2.3” , “true”] id为普通列名,table为包罗保留字的列名,1为整形数字常量,'bazhen.csy’为字符串常量,null为空指针,to_char(a + 1)为表达式,2.3为浮点数,true为布尔值。
[*] 必选:是
[*] 默认值:无

[*] splitPk

[*] 形貌:DorisReader举行数据抽取时,假如指定splitPk,表示用户希望使用splitPk代表的字段举行数据分片,DataX因此会启动并发任务举行数据同步,这样可以大大提供数据同步的效能。
保举splitPk用户使用表主键,因为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热门。
目前splitPk仅支持整形数据切分,不支持浮点、字符串、日期等其他类型。假如用户指定其他非支持类型,DorisReader将报错!
假如splitPk不填写,包括不提供splitPk大概splitPk值为空,DataX视作使用单通道同步该表数据。
[*] 必选:否
[*] 默认值:空

[*] where

[*] 形貌:筛选条件,DorisReader根据指定的column、table、where条件拼接SQL,并根据这个SQL举行数据抽取。在实际业务场景中,通常会选择当天的数据举行同步,可以将where条件指定为gmt_create > $bizdate 。留意:不可以将where条件指定为limit 10,limit不是SQL的合法where子句。
where条件可以有用地举行业务增量同步。假如不填写where语句,包括不提供where的key大概value,DataX均视作同步全量数据。
[*] 必选:否
[*] 默认值:无

[*] querySql

[*] 形貌:在有些业务场景下,where这一配置项不敷以形貌所筛选的条件,用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后,DataX体系就会忽略table,column这些配置型,直接使用这个配置项的内容对数据举行筛选,例如需要举行多表join后同步数据,使用select a,b from table_a join table_b on table_a.id = table_b.id
当用户配置querySql时,DorisReader直接忽略table、column、where条件的配置,querySql优先级大于table、column、where选项。
[*] 必选:否
[*] 默认值:无

类型转换
目前DorisReader支持大部分Doris类型,但也存在部分个别类型没有支持的情况,请留意检查你的类型。
下面列出DorisReaderr针对Doris类型转换列表:
DataX 内部类型doris 数据类型Longint, tinyint, smallint, int, bigint,LargintDoublefloat, double, decimalStringvarchar, char, text, string, map, json, array, structDatedate, datetimeBooleanBoolean 请留意:
tinyint(1) DataX视作为整形。
writer配置参数说明

官方selectdbwriter配置地点


[*] jdbcUrl

[*]形貌:selectdb 的 JDBC 连接串,用户执行 preSql 或 postSQL。
[*]必选:是
[*]默认值:无

[*] loadUrl

[*]形貌:作为 selecdb 的连接目标。格式为 “ip:port”。此中 IP 是 selectdb的private-link,port 是selectdb 集群的 http_port
[*]必选:是
[*]默认值:无

[*] username

[*]形貌:访问selectdb数据库的用户名
[*]必选:是
[*]默认值:无

[*] password

[*]形貌:访问selectdb数据库的暗码
[*]必选:否
[*]默认值:空

[*] connection.selectedDatabase

[*]形貌:需要写入的selectdb数据库名称。
[*]必选:是
[*]默认值:无

[*] connection.table

[*]形貌:需要写入的selectdb表名称。

[*]必选:是
[*]默认值:无


[*] column

[*]形貌:目标表需要写入数据的字段,这些字段将作为天生的 Json 数据的字段名。字段之间用英文逗号分隔。例如: “column”: [“id”,“name”,“age”]。
[*]必选:是
[*]默认值:否

[*] preSql

[*]形貌:写入数据到目标表前,会先执行这里的尺度语句。
[*]必选:否
[*]默认值:无

[*] postSql

[*]形貌:写入数据到目标表后,会执行这里的尺度语句。
[*]必选:否
[*]默认值:无

[*] maxBatchRows

[*]形貌:每批次导入数据的最大行数。和 batchSize 共同控制每批次的导入数量。每批次数据到达两个阈值之一,即开始导入这一批次的数据。
[*]必选:否
[*]默认值:500000

[*] batchSize

[*]形貌:每批次导入数据的最大数据量。和 maxBatchRows 共同控制每批次的导入数量。每批次数据到达两个阈值之一,即开始导入这一批次的数据。
[*]必选:否
[*]默认值:90M

[*] maxRetries

[*]形貌:每批次导入数据失败后的重试次数。
[*]必选:否
[*]默认值:3

[*] labelPrefix

[*]形貌:每批次上传文件的 label 前缀。最终的 label 将有 labelPrefix + UUID 构成全局唯一的 label,确保数据不会重复导入
[*]必选:否
[*]默认值:datax_selectdb_writer_

[*] loadProps

[*] 形貌:COPY INOT 的请求参数
这里包括导入的数据格式:file.type等,导入数据格式默认我们使用csv,支持JSON,具体可以参照下面类型转换部分
[*] 必选:否
[*] 默认值:无

[*] clusterName

[*] 形貌:selectdb could 集群名称
[*] 必选:否
[*] 默认值:无

[*] flushQueueLength

[*] 形貌:队列长度
[*] 必选:否
[*] 默认值:1

[*] flushInterval

[*] 形貌:数据写入批次的时间隔断,假如maxBatchRows 和 batchSize 参数设置的有很大,那么很大概达不到你这设置的数据量巨细,会执行导入。
[*] 必选:否
[*] 默认值:30000ms

类型转换
默认传入的数据均会被转为字符串,并以\t作为列分隔符,\n作为行分隔符,构成csv文件举行Selectdb导入操纵。
默认是csv格式导入,如需更改列分隔符, 则正确配置 loadProps 即可:
"loadProps": {
    "file.column_separator": "\\x01",
    "file.line_delimiter": "\\x02"
}
如需更改导入格式为json, 则正确配置 loadProps 即可:
"loadProps": {
    "file.type": "json",
    "file.strip_outer_array": true
}
启动DataX

$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./doris2selecdb.json
同步竣事,显示日志如下:
2024-08-26 17:10:18.721 INFOJobContainer - PerfTrace not enable!
2024-08-26 17:10:18.721 INFOStandAloneJobContainerCommunicator - Total 12976386 records, 1444190303 bytes | Speed 2.33MB/s, 21993 records/s | Error 0 records, 0 bytes |All Task WaitWriterTime 28.820s |All Task WaitReaderTime 308.386s | Percentage 100.00%
2024-08-26 17:10:18.722 INFOJobContainer -
任务启动时刻                  : 2024-08-26 17:00:24
任务结束时刻                  : 2024-08-26 17:10:18
任务总计耗时                  :                593s
任务平均流量                  :            2.33MB/s
记录写入速度                  :          21993rec/s
读出记录总数                  :            12976386
读写失败总数                  :                   0

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: DataX(Doris同步数据到SelectDB)