ToB企服应用市场:ToB评测及商务社交产业平台

标题: IoTDB 入门教程 根本篇⑩——CSV导入导出工具 [打印本页]

---

作者: 干翻全岛蛙蛙    时间: 2024-8-22 10:26
标题: IoTDB 入门教程 根本篇⑩——CSV导入导出工具
一、前文

   IoTDB入门教程——导读
    如果是使用开源版本IoTDB，那么有如下三种数据同步和备份的方法，可供选择。
  

• IoTDB 入门教程 根本篇⑨——TsFile导入导出工具
  
• IoTDB 入门教程 根本篇⑩——CSV导入导出工具
  
• IoTDB 入门教程 根本篇⑪——Data导入导出工具
  

    如果是使用企业版本IoTDB（TimechoDB），那么一种数据同步的方法就够了，简单方便更好用。
  

• IoTDB 入门教程 企业篇③——数据同步和增量备份
  

    IoTDB支持CSV文件导入导出，这一工具极大地简化了数据库备份、迁徙以及同步的流程，为用户带来了极大的便利。
   

• 数据库备份与迁徙是数据库运维中的核心任务，其紧张性不问可知。
  
• 确保备份过程既简单快捷又稳固可靠，对于保障数据安全与业务连续性至关紧张。
  

   

• 注意：IoTDB V1.3.2及之后版本使用tools/export-data、tools/import-data
  
• 注意：IoTDB V1.3.1及之前版本使用tools/export-csv、tools/import-csv
  

  二、导出

2.1 准备导出服务器

• 登录数据库
  

1. [root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
2. ---------------------
3. Starting IoTDB Cli
4. ---------------------
5. _____       _________  ______   ______   
6. |_   _|     |  _   _  ||_   _ `.|_   _ \   
7.   | |   .--.|_/ | | \_|  | | `. \ | |_) |  
8.   | | / .'`\ \  | |      | |  | | |  __'.  
9. _| |_| \__. | _| |_    _| |_.' /_| |__) |
10. |_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
11.                                           
13. Successfully login at 127.0.0.1:6667

复制代码

• 创建数据库
  

1. IoTDB> CREATE DATABASE root.test.test
2. Msg: The statement is executed successfully.
3. IoTDB> show databases
4. +--------------+----+-----------------------+---------------------+---------------------+
5. |      Database| TTL|SchemaReplicationFactor|DataReplicationFactor|TimePartitionInterval|
6. +--------------+----+-----------------------+---------------------+---------------------+
7. |root.test.test|null|                      1|                    1|            604800000|
8. +--------------+----+-----------------------+---------------------+---------------------+
9. Total line number = 1
10. It costs 0.006s

复制代码

• 写入数据库
  

1. IoTDB> INSERT INTO root.test.test(status) values(1)
2. Msg: The statement is executed successfully.
3. IoTDB> INSERT INTO root.test.test(status) values(1)
4. Msg: The statement is executed successfully.
5. IoTDB> INSERT INTO root.test.test(status) values(2)
6. Msg: The statement is executed successfully.
7. IoTDB> INSERT INTO root.test.test(status) values(3)
8. Msg: The statement is executed successfully.
9. IoTDB> INSERT INTO root.test.test(status) values(11)
10. Msg: The statement is executed successfully.
11. IoTDB> INSERT INTO root.test.test(status) values(22)
12. Msg: The statement is executed successfully.
13. IoTDB> INSERT INTO root.test.test(status) values(33)
14. Msg: The statement is executed successfully.

复制代码

• 查询数据库
  

1. IoTDB> select status from root.test.test
2. +-----------------------------+---------------------+
3. |                         Time|root.test.test.status|
4. +-----------------------------+---------------------+
5. |2024-07-21T10:43:54.070+08:00|                  1.0|
6. |2024-07-21T10:44:22.376+08:00|                  1.0|
7. |2024-07-21T10:44:25.306+08:00|                  2.0|
8. |2024-07-21T10:44:27.752+08:00|                  3.0|
9. |2024-07-21T10:44:34.186+08:00|                 11.0|
10. |2024-07-21T10:44:36.251+08:00|                 22.0|
11. |2024-07-21T10:44:38.068+08:00|                 33.0|
12. +-----------------------------+---------------------+
13. Total line number = 7
14. It costs 0.119s

复制代码

2.2 导出下令

1. bash tools/export-csv.sh  -h <ip> -p <port> -u <username> -pw <password> -td <directory> [-tf <time-format> -datatype <true/false> -q <query command> -s <sql file>]

复制代码

• -datatype
  
  
  
  • true (默认): 在CSV文件的header中时间序列的反面打印出对应的数据范例。例如：Time, root.sg1.d1.s1(INT32), root.sg1.d1.s2(INT64).
    
  • false: 只在CSV的header中打印出时间序列的名字, Time, root.sg1.d1.s1 , root.sg1.d1.s2
    
  
  
• -q :
  
  
  
  • 在下令中直接指定想要执行的查询语句。
    
  • 例如: select * from root.** limit 100, or select * from root.** limit 100 align by device
    
  
  
• -s :
  
  
  
  • 指定一个SQL文件，里面包罗一条或多条SQL语句。如果一个SQL文件中包罗多条SQL语句，SQL语句之间应该用换行符进行分割。每一条SQL语句对应一个输出的CSV文件。
    
  
  
• -td :
  
  
  
  • 为导出的CSV文件指定输出路径。
    
  
  
• -tf :
  
  
  
  • 指定一个你想要得到的时间格式。时间格式必须遵守ISO 8601标准。如果说你想要以时间戳来生存时间，那就设置为-tf timestamp。
    
  • 例如: -tf yyyy-MM-dd\ HH:mm:ss or -tf timestamp
    
  
  
• -linesPerFile :
  
  
  
  • 指定导出的dump文件最大行数，默认值为10000。
    
  • 例如： -linesPerFile 1
    
  
  
• -t :
  
  
  
  • 指定session查询时的超时时间，单元为ms
    
  
  

除此之外，如果你没有使用-s和-q参数，在导出脚本被启动之后你必要按照程序提示输入查询语句，差别的查询结果会被生存到差别的CSV文件中。
2.3 执行下令

1. [root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash tools/export-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -td ./
2. ------------------------------------------
3. Starting IoTDB Client Export Script
4. ------------------------------------------
5. ExportCsv> please input query: select status from root.test.test
6. select status from root.test.test
7. Export completely!

复制代码

2.4 csv文件

dump0_0.csv就是本次导出的csv文件。

三、导入

3.1 准备导入服务器

• 登录数据库
  

1. [root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
2. ---------------------
3. Starting IoTDB Cli
4. ---------------------
5. _____       _________  ______   ______   
6. |_   _|     |  _   _  ||_   _ `.|_   _ \   
7.   | |   .--.|_/ | | \_|  | | `. \ | |_) |  
8.   | | / .'`\ \  | |      | |  | | |  __'.  
9. _| |_| \__. | _| |_    _| |_.' /_| |__) |
10. |_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
11.                                           
13. Successfully login at 127.0.0.1:6667\

复制代码

• 查询数据库，没有数据
  

1. IoTDB> select status from root.test.test
2. +----+
3. |Time|
4. +----+
5. +----+
6. Empty set.
7. It costs 0.184s

复制代码

3.2 上传csv文件

将在2.4末节获得的dump0_0.csv上传到导入服务器中
3.3 导入下令

1. bash tools/import-csv.sh -h <ip> -p <port> -u <username> -pw <password> -f <xxx.csv> [-fd <./failedDirectory>] [-aligned <true>] [-tp <ms/ns/us>] [-typeInfer <boolean=text,float=double...>] [-linesPerFailedFile <int_value>]

复制代码

• -f:
  
  
  
  • 指定你想要导入的数据，这里可以指定文件大概文件夹。如果指定的是文件夹，将会把文件夹中所有的后缀为txt与csv的文件进行批量导入。
    
  • 例如: -f filename.csv
    
  
  
• -fd:
  
  
  
  • 指定一个目录来存放生存失败的行的文件，如果你没有指定这个参数，失败的文件将会被生存到源数据的目录中，然后文件名是源文件名加上.failed的后缀。
    
  • 例如: -fd ./failed/
    
  
  
• -aligned:
  
  
  
  • 是否使用aligned接口？ 默认参数为false。
    
  • 例如: -aligned true
    
  
  
• -batch:
  
  
  
  • 用于指定每一批插入的数据的点数。如果程序报了org.apache.thrift.transport.TTransportException: Frame size larger than protect max size这个错的话，就可以适当的调低这个参数。
    
  • 例如: -batch 100000，100000是默认值。
    
  
  
• -tp:
  
  
  
  • 用于指定时间精度，可选值包罗ms（毫秒），ns（纳秒），us（微秒），默认值为ms。
    
  
  
• -typeInfer <srcTsDataType1=dstTsDataType1,srcTsDataType2=dstTsDataType2,…>:
  
  
  
  • 用于指定范例推断规则.
    
  • srcTsDataType 包罗 boolean,int,long,float,double,NaN.
    
  • dstTsDataType 包罗 boolean,int,long,float,double,text.
    
  • 当srcTsDataType为boolean, dstTsDataType只能为boolean或text.
    
  • 当srcTsDataType为NaN, dstTsDataType只能为float, double或text.
    
  • 当srcTsDataType为数值范例, dstTsDataType的精度必要高于srcTsDataType.
    
  • 例如:-typeInfer boolean=text,float=double
    
  
  
• -linesPerFailedFile :
  
  
  
  • 用于指定每个导入失败文件写入数据的行数，默认值为10000。
    
  • 例如：-linesPerFailedFile 1
    
  
  

3.4 执行下令

• 导入csv文件
  

1. [root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash tools/import-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -f dump0_0.csv -fd ./failed
2. ------------------------------------------
3. Starting IoTDB Client Import Script
4. ------------------------------------------
5. Import completely!

复制代码

• 登录数据库
  

1. [root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
2. ---------------------
3. Starting IoTDB Cli
4. ---------------------
5. _____       _________  ______   ______   
6. |_   _|     |  _   _  ||_   _ `.|_   _ \   
7.   | |   .--.|_/ | | \_|  | | `. \ | |_) |  
8.   | | / .'`\ \  | |      | |  | | |  __'.  
9. _| |_| \__. | _| |_    _| |_.' /_| |__) |
10. |_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
11.                                           
13. Successfully login at 127.0.0.1:6667

复制代码

• 查询数据是否成功导入
  

1. IoTDB> select status from root.test.test
2. +-----------------------------+---------------------+
3. |                         Time|root.test.test.status|
4. +-----------------------------+---------------------+
5. |2024-07-21T10:43:54.070+08:00|                  1.0|
6. |2024-07-21T10:44:22.376+08:00|                  1.0|
7. |2024-07-21T10:44:25.306+08:00|                  2.0|
8. |2024-07-21T10:44:27.752+08:00|                  3.0|
9. |2024-07-21T10:44:34.186+08:00|                 11.0|
10. |2024-07-21T10:44:36.251+08:00|                 22.0|
11. |2024-07-21T10:44:38.068+08:00|                 33.0|
12. +-----------------------------+---------------------+
13. Total line number = 7
14. It costs 0.164s

复制代码

四、总结

• 相对而言，照旧tsfile文件导入导出更加方便。
  
• csv文件导入导出，还必要考虑数据范例，相对麻烦。
  
• 1.3.2版本就没有export-csv.sh和import-csv.sh，取而代之的是export-data.sh和import-data.sh。
  

五、参考

导入导出工具 | IoTDB Website
以为好，就一键三连呗（点赞+收藏+关注）

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4