IoTDB 入门教程 根本篇⑩——CSV导入导出工具

干翻全岛蛙蛙  金牌会员 | 2024-8-22 10:26:02 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 886|帖子 886|积分 2658

一、前文

   IoTDB入门教程——导读
    如果是使用开源版本IoTDB，那么有如下三种数据同步和备份的方法，可供选择。
  

  • IoTDB 入门教程 根本篇⑨——TsFile导入导出工具
  • IoTDB 入门教程 根本篇⑩——CSV导入导出工具
  • IoTDB 入门教程 根本篇⑪——Data导入导出工具
    如果是使用企业版本IoTDB（TimechoDB），那么一种数据同步的方法就够了，简单方便更好用。
  

  • IoTDB 入门教程 企业篇③——数据同步和增量备份
    IoTDB支持CSV文件导入导出，这一工具极大地简化了数据库备份、迁徙以及同步的流程，为用户带来了极大的便利。
   

  • 数据库备份与迁徙是数据库运维中的核心任务，其紧张性不问可知。
  • 确保备份过程既简单快捷又稳固可靠，对于保障数据安全与业务连续性至关紧张。
   

  • 注意：IoTDB V1.3.2及之后版本使用tools/export-data、tools/import-data
  • 注意：IoTDB V1.3.1及之前版本使用tools/export-csv、tools/import-csv
  二、导出

2.1 准备导出服务器



  • 登录数据库
  1. [root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
  2. ---------------------
  3. Starting IoTDB Cli
  4. ---------------------
  5. _____       _________  ______   ______   
  6. |_   _|     |  _   _  ||_   _ `.|_   _ \   
  7.   | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  8.   | | / .'`\ \  | |      | |  | | |  __'.  
  9. _| |_| \__. | _| |_    _| |_.' /_| |__) |
  10. |_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
  11.                                           
  13. Successfully login at 127.0.0.1:6667
复制代码


  • 创建数据库
  1. IoTDB> CREATE DATABASE root.test.test
  2. Msg: The statement is executed successfully.
  3. IoTDB> show databases
  4. +--------------+----+-----------------------+---------------------+---------------------+
  5. |      Database| TTL|SchemaReplicationFactor|DataReplicationFactor|TimePartitionInterval|
  6. +--------------+----+-----------------------+---------------------+---------------------+
  7. |root.test.test|null|                      1|                    1|            604800000|
  8. +--------------+----+-----------------------+---------------------+---------------------+
  9. Total line number = 1
  10. It costs 0.006s
复制代码


  • 写入数据库
  1. IoTDB> INSERT INTO root.test.test(status) values(1)
  2. Msg: The statement is executed successfully.
  3. IoTDB> INSERT INTO root.test.test(status) values(1)
  4. Msg: The statement is executed successfully.
  5. IoTDB> INSERT INTO root.test.test(status) values(2)
  6. Msg: The statement is executed successfully.
  7. IoTDB> INSERT INTO root.test.test(status) values(3)
  8. Msg: The statement is executed successfully.
  9. IoTDB> INSERT INTO root.test.test(status) values(11)
  10. Msg: The statement is executed successfully.
  11. IoTDB> INSERT INTO root.test.test(status) values(22)
  12. Msg: The statement is executed successfully.
  13. IoTDB> INSERT INTO root.test.test(status) values(33)
  14. Msg: The statement is executed successfully.
复制代码


  • 查询数据库
  1. IoTDB> select status from root.test.test
  2. +-----------------------------+---------------------+
  3. |                         Time|root.test.test.status|
  4. +-----------------------------+---------------------+
  5. |2024-07-21T10:43:54.070+08:00|                  1.0|
  6. |2024-07-21T10:44:22.376+08:00|                  1.0|
  7. |2024-07-21T10:44:25.306+08:00|                  2.0|
  8. |2024-07-21T10:44:27.752+08:00|                  3.0|
  9. |2024-07-21T10:44:34.186+08:00|                 11.0|
  10. |2024-07-21T10:44:36.251+08:00|                 22.0|
  11. |2024-07-21T10:44:38.068+08:00|                 33.0|
  12. +-----------------------------+---------------------+
  13. Total line number = 7
  14. It costs 0.119s
复制代码
2.2 导出下令

  1. bash tools/export-csv.sh  -h <ip> -p <port> -u <username> -pw <password> -td <directory> [-tf <time-format> -datatype <true/false> -q <query command> -s <sql file>]
复制代码


  • -datatype

    • true (默认): 在CSV文件的header中时间序列的反面打印出对应的数据范例。例如：Time, root.sg1.d1.s1(INT32), root.sg1.d1.s2(INT64).
    • false: 只在CSV的header中打印出时间序列的名字, Time, root.sg1.d1.s1 , root.sg1.d1.s2

  • -q :

    • 在下令中直接指定想要执行的查询语句。
    • 例如: select * from root.** limit 100, or select * from root.** limit 100 align by device

  • -s :

    • 指定一个SQL文件，里面包罗一条或多条SQL语句。如果一个SQL文件中包罗多条SQL语句，SQL语句之间应该用换行符进行分割。每一条SQL语句对应一个输出的CSV文件。

  • -td :

    • 为导出的CSV文件指定输出路径。

  • -tf :

    • 指定一个你想要得到的时间格式。时间格式必须遵守ISO 8601标准。如果说你想要以时间戳来生存时间，那就设置为-tf timestamp。
    • 例如: -tf yyyy-MM-dd\ HH:mm:ss or -tf timestamp

  • -linesPerFile :

    • 指定导出的dump文件最大行数，默认值为10000。
    • 例如： -linesPerFile 1

  • -t :

    • 指定session查询时的超时时间，单元为ms

除此之外，如果你没有使用-s和-q参数，在导出脚本被启动之后你必要按照程序提示输入查询语句，差别的查询结果会被生存到差别的CSV文件中。
2.3 执行下令

  1. [root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash tools/export-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -td ./
  2. ------------------------------------------
  3. Starting IoTDB Client Export Script
  4. ------------------------------------------
  5. ExportCsv> please input query: select status from root.test.test
  6. select status from root.test.test
  7. Export completely!
复制代码
2.4 csv文件

dump0_0.csv就是本次导出的csv文件。


三、导入

3.1 准备导入服务器



  • 登录数据库
  1. [root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
  2. ---------------------
  3. Starting IoTDB Cli
  4. ---------------------
  5. _____       _________  ______   ______   
  6. |_   _|     |  _   _  ||_   _ `.|_   _ \   
  7.   | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  8.   | | / .'`\ \  | |      | |  | | |  __'.  
  9. _| |_| \__. | _| |_    _| |_.' /_| |__) |
  10. |_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
  11.                                           
  13. Successfully login at 127.0.0.1:6667\
复制代码


  • 查询数据库，没有数据
  1. IoTDB> select status from root.test.test
  2. +----+
  3. |Time|
  4. +----+
  5. +----+
  6. Empty set.
  7. It costs 0.184s
复制代码
3.2 上传csv文件

将在2.4末节获得的dump0_0.csv上传到导入服务器中
3.3 导入下令

  1. bash tools/import-csv.sh -h <ip> -p <port> -u <username> -pw <password> -f <xxx.csv> [-fd <./failedDirectory>] [-aligned <true>] [-tp <ms/ns/us>] [-typeInfer <boolean=text,float=double...>] [-linesPerFailedFile <int_value>]
复制代码


  • -f:

    • 指定你想要导入的数据，这里可以指定文件大概文件夹。如果指定的是文件夹，将会把文件夹中所有的后缀为txt与csv的文件进行批量导入。
    • 例如: -f filename.csv

  • -fd:

    • 指定一个目录来存放生存失败的行的文件，如果你没有指定这个参数，失败的文件将会被生存到源数据的目录中，然后文件名是源文件名加上.failed的后缀。
    • 例如: -fd ./failed/

  • -aligned:

    • 是否使用aligned接口？ 默认参数为false。
    • 例如: -aligned true

  • -batch:

    • 用于指定每一批插入的数据的点数。如果程序报了org.apache.thrift.transport.TTransportException: Frame size larger than protect max size这个错的话，就可以适当的调低这个参数。
    • 例如: -batch 100000，100000是默认值。

  • -tp:

    • 用于指定时间精度，可选值包罗ms（毫秒），ns（纳秒），us（微秒），默认值为ms。

  • -typeInfer <srcTsDataType1=dstTsDataType1,srcTsDataType2=dstTsDataType2,…>:

    • 用于指定范例推断规则.
    • srcTsDataType 包罗 boolean,int,long,float,double,NaN.
    • dstTsDataType 包罗 boolean,int,long,float,double,text.
    • 当srcTsDataType为boolean, dstTsDataType只能为boolean或text.
    • 当srcTsDataType为NaN, dstTsDataType只能为float, double或text.
    • 当srcTsDataType为数值范例, dstTsDataType的精度必要高于srcTsDataType.
    • 例如:-typeInfer boolean=text,float=double

  • -linesPerFailedFile :

    • 用于指定每个导入失败文件写入数据的行数，默认值为10000。
    • 例如：-linesPerFailedFile 1

3.4 执行下令



  • 导入csv文件
  1. [root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash tools/import-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -f dump0_0.csv -fd ./failed
  2. ------------------------------------------
  3. Starting IoTDB Client Import Script
  4. ------------------------------------------
  5. Import completely!
复制代码


  • 登录数据库
  1. [root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
  2. ---------------------
  3. Starting IoTDB Cli
  4. ---------------------
  5. _____       _________  ______   ______   
  6. |_   _|     |  _   _  ||_   _ `.|_   _ \   
  7.   | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  8.   | | / .'`\ \  | |      | |  | | |  __'.  
  9. _| |_| \__. | _| |_    _| |_.' /_| |__) |
  10. |_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
  11.                                           
  13. Successfully login at 127.0.0.1:6667
复制代码


  • 查询数据是否成功导入
  1. IoTDB> select status from root.test.test
  2. +-----------------------------+---------------------+
  3. |                         Time|root.test.test.status|
  4. +-----------------------------+---------------------+
  5. |2024-07-21T10:43:54.070+08:00|                  1.0|
  6. |2024-07-21T10:44:22.376+08:00|                  1.0|
  7. |2024-07-21T10:44:25.306+08:00|                  2.0|
  8. |2024-07-21T10:44:27.752+08:00|                  3.0|
  9. |2024-07-21T10:44:34.186+08:00|                 11.0|
  10. |2024-07-21T10:44:36.251+08:00|                 22.0|
  11. |2024-07-21T10:44:38.068+08:00|                 33.0|
  12. +-----------------------------+---------------------+
  13. Total line number = 7
  14. It costs 0.164s
复制代码
四、总结



  • 相对而言，照旧tsfile文件导入导出更加方便。
  • csv文件导入导出，还必要考虑数据范例，相对麻烦。
  • 1.3.2版本就没有export-csv.sh和import-csv.sh，取而代之的是export-data.sh和import-data.sh。
五、参考

导入导出工具 | IoTDB Website
以为好，就一键三连呗（点赞+收藏+关注）

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

干翻全岛蛙蛙

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表