Hbase的JavaAPI和数据存储

导入Maven依赖

1. <dependencies>
2.     <dependency>
3.         <groupId>org.apache.zookeeper</groupId>
4.         <artifactId>zookeeper</artifactId>
5.         <version>3.4.6</version>
6.     </dependency>
8.     <dependency>
9.         <groupId>org.apache.hbase</groupId>
10.         <artifactId>hbase-client</artifactId>
11.         <version>2.2.5</version>
12.     </dependency>
13.     <dependency>
14.         <groupId>org.apache.hadoop</groupId>
15.         <artifactId>hadoop-client</artifactId>
16.         <version>3.2.1</version>
17.     </dependency>
18.     <dependency>
19.         <groupId>org.apache.hadoop</groupId>
20.         <artifactId>hadoop-common</artifactId>
21.         <version>3.2.1</version>
22.     </dependency>
23.     <dependency>
24.         <groupId>org.apache.hbase</groupId>
25.         <artifactId>hbase-server</artifactId>
26.         <version>2.2.5</version>
27.     </dependency>
28.    
29.     <dependency>
30.         <groupId>org.apache.hbase</groupId>
31.         <artifactId>hbase-mapreduce</artifactId>
32.         <version>2.2.5</version>
33.     </dependency>
34.     <dependency>
35.         <groupId>com.google.code.gson</groupId>
36.         <artifactId>gson</artifactId>
37.         <version>2.8.5</version>
38.     </dependency>
39.    
40.     <dependency>
41.         <groupId>org.apache.phoenix</groupId>
42.         <artifactId>phoenix-core</artifactId>
43.         <version>5.0.0-HBase-2.0</version>
44.     </dependency>
45.     <dependency>
46.         <groupId>org.apache.hadoop</groupId>
47.         <artifactId>hadoop-auth</artifactId>
48.         <version>3.1.2</version>
49.     </dependency>
50. </dependencies>
51. <build>
52.     <plugins>
53.         <plugin>
54.             <groupId>org.apache.maven.plugins</groupId>
55.             <artifactId>maven-compiler-plugin</artifactId>
56.             <version>3.5.1</version>
57.             <configuration>
58.                 <source>1.8</source>
59.                 <target>1.8</target>
60.             </configuration>
61.         </plugin>
63.         <plugin>
64.             <groupId>org.apache.maven.plugins</groupId>
65.             <artifactId>maven-assembly-plugin</artifactId>
66.             <version>2.6</version>
67.             <configuration>
68.                 <descriptorRefs>
69.                     <descriptorRef>jar-with-dependencies</descriptorRef>
70.                 </descriptorRefs>
71.             </configuration>
72.             <executions>
73.                 <execution>
74.                     <id>make-assembly</id>
75.                     
76.                     <phase>package</phase>
77.                     <goals>
78.                         <goal>single</goal>
79.                     </goals>
80.                 </execution>
81.             </executions>
82.         </plugin>
84.     </plugins>
85. </build>

复制代码

获取hbase的连接，list出所有的表

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.TableName;
6. import org.apache.hadoop.hbase.client.Admin;
7. import org.apache.hadoop.hbase.client.Connection;
8. import org.apache.hadoop.hbase.client.ConnectionFactory;
10. import java.io.IOException;
12. /**
13. * Hbase的java客户端连接hbase的时候，只需要连接zookeeper的集群
14. * 就可以找到你Hbase集群的位置
15. * 核心的对象：
16. * Configuration：HbaseConfiguration.create();
17. * Connection:ConnectionFactory.createConnection(conf);
18. * table:conn.getTable(TableName.valueOf("tb_b")); 对表进行操作 DML
19. * Admin：conn.getAdmin();操作Hbase系统DDL，对名称空间等进行操作
20. */
21. public class ConnectionDemo {
22.     public static void main(String[] args) throws Exception {
23.         //获取到hbase的配置文件对象
24.         Configuration conf = HBaseConfiguration.create();
25.         //针对配置文件设置zk的集群地址
26.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
27.         //创建hbase的连接对象
28.         Connection conn = ConnectionFactory.createConnection(conf);
30.         //获取到操作hbase的对象
31.         Admin admin = conn.getAdmin();
33.         //调用api获取到所有的表
34.         TableName[] tableNames = admin.listTableNames();
36.         //获取到哪个命名空间下的所有的表
37.         TableName[] doits = admin.listTableNamesByNamespace("doit");
40.         for (TableName tableName : doits) {
41.             byte[] name = tableName.getName();
42.             System.out.println(new String(name));
43.         }
45.         conn.close();
46.     }
47. }

复制代码

获取到所有的命名空间

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.NamespaceDescriptor;
6. import org.apache.hadoop.hbase.client.Admin;
7. import org.apache.hadoop.hbase.client.Connection;
8. import org.apache.hadoop.hbase.client.ConnectionFactory;
10. /**
11. * Hbase的java客户端连接hbase的时候，只需要连接zookeeper的集群
12. * 就可以找到你Hbase集群的位置
13. * 核心的对象：
14. * Configuration：HbaseConfiguration.create();
15. * Connection:ConnectionFactory.createConnection(conf);
16. * Admin：conn.getAdmin();操作Hbase系统DDL，对名称空间等进行操作
17. */
18. public class NameSpaceDemo {
19.     public static void main(String[] args) throws Exception {
20.         //获取到hbase的配置文件对象
21.         Configuration conf = HBaseConfiguration.create();
22.         //针对配置文件设置zk的集群地址
23.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
24.         //创建hbase的连接对象
25.         Connection conn = ConnectionFactory.createConnection(conf);
27.         //获取到操作hbase的对象
28.         Admin admin = conn.getAdmin();
30.         //获取到命名空间的描述器
31.         NamespaceDescriptor[] namespaceDescriptors = admin.listNamespaceDescriptors();
33.         for (NamespaceDescriptor namespaceDescriptor : namespaceDescriptors) {
34.             //针对描述器获取到命名空间的名称
35.             String name = namespaceDescriptor.getName();
36.             System.out.println(name);
37.         }
39.         conn.close();
40.     }
41. }

复制代码

创建一个命名空间

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.NamespaceDescriptor;
6. import org.apache.hadoop.hbase.client.Admin;
7. import org.apache.hadoop.hbase.client.Connection;
8. import org.apache.hadoop.hbase.client.ConnectionFactory;
9. import org.apache.hadoop.hbase.protobuf.generated.HBaseProtos;
11. import java.util.Properties;
13. /**
14. * Hbase的java客户端连接hbase的时候，只需要连接zookeeper的集群
15. * 就可以找到你Hbase集群的位置
16. * 核心的对象：
17. * Configuration：HbaseConfiguration.create();
18. * Connection:ConnectionFactory.createConnection(conf);
19. * Admin：conn.getAdmin();操作Hbase系统DDL，对名称空间等进行操作
20. */
21. public class CreateNameSpaceDemo {
22.     public static void main(String[] args) throws Exception {
23.         //获取到hbase的配置文件对象
24.         Configuration conf = HBaseConfiguration.create();
25.         //针对配置文件设置zk的集群地址
26.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
27.         //创建hbase的连接对象
28.         Connection conn = ConnectionFactory.createConnection(conf);
30.         //获取到操作hbase的对象
31.         Admin admin = conn.getAdmin();
33.         //获取到命名空间描述器的构建器
34.         NamespaceDescriptor.Builder spaceFromJava = NamespaceDescriptor.create("spaceFromJava");
35.         //当然还可以给命名空间设置属性
36.         spaceFromJava.addConfiguration("author","robot_jiang");
37.         spaceFromJava.addConfiguration("desc","this is my first java namespace...");
38.         //拿着构建器构建命名空间的描述器
39.         NamespaceDescriptor build = spaceFromJava.build();
40.         //创建命名空间
41.         admin.createNamespace(build);
43.         conn.close();
44.     }
45. }

复制代码

创建带有多列族的表

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.NamespaceDescriptor;
6. import org.apache.hadoop.hbase.TableName;
7. import org.apache.hadoop.hbase.client.*;
8. import org.apache.hadoop.hbase.protobuf.generated.TableProtos;
10. import java.nio.charset.StandardCharsets;
11. import java.util.ArrayList;
12. import java.util.Map;
13. import java.util.Set;
15. /**
16. * Hbase的java客户端连接hbase的时候，只需要连接zookeeper的集群
17. * 就可以找到你Hbase集群的位置
18. * 核心的对象：
19. * Configuration：HbaseConfiguration.create();
20. * Connection:ConnectionFactory.createConnection(conf);
21. * Admin：conn.getAdmin();操作Hbase系统DDL，对名称空间等进行操作
22. */
23. public class CreateTableDemo {
24.     public static void main(String[] args) throws Exception {
25.         //获取到hbase的配置文件对象
26.         Configuration conf = HBaseConfiguration.create();
27.         //针对配置文件设置zk的集群地址
28.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
29.         //创建hbase的连接对象
30.         Connection conn = ConnectionFactory.createConnection(conf);
32.         Admin admin = conn.getAdmin();
34.         //获取到操作hbase操作表的对象
35.         TableDescriptorBuilder java = TableDescriptorBuilder.newBuilder(TableName.valueOf("java"));
37.         //表添加列族需要集合的方式
38.         ArrayList<ColumnFamilyDescriptor> list = new ArrayList<>();
39.         //构建一个列族的构造器
40.         ColumnFamilyDescriptorBuilder col1 = ColumnFamilyDescriptorBuilder.newBuilder("f1".getBytes(StandardCharsets.UTF_8));
41.         ColumnFamilyDescriptorBuilder col2 = ColumnFamilyDescriptorBuilder.newBuilder("f2".getBytes(StandardCharsets.UTF_8));
42.         ColumnFamilyDescriptorBuilder col3 = ColumnFamilyDescriptorBuilder.newBuilder("f3".getBytes(StandardCharsets.UTF_8));
43.         //构建列族
44.         ColumnFamilyDescriptor build1 = col1.build();
45.         ColumnFamilyDescriptor build2 = col2.build();
46.         ColumnFamilyDescriptor build3 = col3.build();
47.         //将列族添加到集合中去
48.         list.add(build1);
49.         list.add(build2);
50.         list.add(build3);
52.         //给表设置列族
53.         java.setColumnFamilies(list);
54.         //构建表的描述器
55.         TableDescriptor build = java.build();
56.         //创建表
57.         admin.createTable(build);
59.         conn.close();
60.     }
61. }

复制代码

向表中添加数据

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.TableName;
6. import org.apache.hadoop.hbase.client.*;
8. import java.nio.charset.StandardCharsets;
9. import java.util.ArrayList;
10. import java.util.Arrays;
12. /**
13. * 注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么
14. */
15. public class PutDataDemo {
16.     public static void main(String[] args) throws Exception {
17.         //获取到hbase的配置文件对象
18.         Configuration conf = HBaseConfiguration.create();
19.         //针对配置文件设置zk的集群地址
20.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
21.         //创建hbase的连接对象
22.         Connection conn = ConnectionFactory.createConnection(conf);
24.         Admin admin = conn.getAdmin();
26.         //指定往哪一张表中put数据
27.         Table java = conn.getTable(TableName.valueOf("java"));
28.         //创建put对象，设置rowKey
29.         Put put = new Put("rowkey_001".getBytes(StandardCharsets.UTF_8));
30.         put.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8),"xiaotao".getBytes(StandardCharsets.UTF_8));
31.         put.addColumn("f1".getBytes(StandardCharsets.UTF_8),"age".getBytes(StandardCharsets.UTF_8),"42".getBytes(StandardCharsets.UTF_8));
33.         Put put1 = new Put("rowkey_002".getBytes(StandardCharsets.UTF_8));
34.         put1.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8),"xiaotao".getBytes(StandardCharsets.UTF_8));
35.         put1.addColumn("f1".getBytes(StandardCharsets.UTF_8),"age".getBytes(StandardCharsets.UTF_8),"42".getBytes(StandardCharsets.UTF_8));
37.         Put put2 = new Put("rowkey_003".getBytes(StandardCharsets.UTF_8));
38.         put2.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8),"xiaotao".getBytes(StandardCharsets.UTF_8));
39.         put2.addColumn("f1".getBytes(StandardCharsets.UTF_8),"age".getBytes(StandardCharsets.UTF_8),"42".getBytes(StandardCharsets.UTF_8));
41.         java.put(Arrays.asList(put,put1,put2));
43.         conn.close();
44.     }
45. }

复制代码

get表中的数据

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.Cell;
5. import org.apache.hadoop.hbase.CellUtil;
6. import org.apache.hadoop.hbase.HBaseConfiguration;
7. import org.apache.hadoop.hbase.TableName;
8. import org.apache.hadoop.hbase.client.*;
10. import java.nio.charset.StandardCharsets;
12. /**
13. * 注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么
14. */
15. public class GetDataDemo {
16.     public static void main(String[] args) throws Exception {
17.         //获取到hbase的配置文件对象
18.         Configuration conf = HBaseConfiguration.create();
19.         //针对配置文件设置zk的集群地址
20.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
21.         //创建hbase的连接对象
22.         Connection conn = ConnectionFactory.createConnection(conf);
24.         //指定往哪一张表中put数据
25.         Table java = conn.getTable(TableName.valueOf("java"));
27.         Get get = new Get("rowkey_001".getBytes(StandardCharsets.UTF_8));
28. //        get.addFamily("f1".getBytes(StandardCharsets.UTF_8));
29.         get.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8));
30.         Result result = java.get(get);
31.         boolean advance = result.advance();
32.         if(advance){
33.             Cell current = result.current();
34.             String family = new String(CellUtil.cloneFamily(current));
35.             String qualifier = new String(CellUtil.cloneQualifier(current));
36.             String row = new String(CellUtil.cloneRow(current));
37.             String value = new String(CellUtil.cloneValue(current));
38.             System.out.println(row+","+family+","+qualifier+","+value);
39.         }
41.         conn.close();
42.     }
43. }

复制代码

scan表中的数据

1. package com.doit.day01;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.*;
5. import org.apache.hadoop.hbase.client.*;
7. import java.nio.charset.StandardCharsets;
8. import java.util.Arrays;
9. import java.util.Iterator;
11. /**
12. * 注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么
13. */
14. public class ScanDataDemo {
15.     public static void main(String[] args) throws Exception {
16.         //获取到hbase的配置文件对象
17.         Configuration conf = HBaseConfiguration.create();
18.         //针对配置文件设置zk的集群地址
19.         conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
20.         //创建hbase的连接对象
21.         Connection conn = ConnectionFactory.createConnection(conf);
23.         //指定往哪一张表中put数据
24.         Table java = conn.getTable(TableName.valueOf("java"));
26.         Scan scan = new Scan();
27.         scan.withStartRow("rowkey_001".getBytes(StandardCharsets.UTF_8));
28.         scan.withStopRow("rowkey_004".getBytes(StandardCharsets.UTF_8));
30.         ResultScanner scanner = java.getScanner(scan);
31.         Iterator<Result> iterator = scanner.iterator();
32.         while (iterator.hasNext()){
33.             Result next = iterator.next();
34.             while (next.advance()){
35.                 Cell current = next.current();
36.                 String family = new String(CellUtil.cloneFamily(current));
37.                 String row = new String(CellUtil.cloneRow(current));
38.                 String qualifier = new String(CellUtil.cloneQualifier(current));
39.                 String value = new String(CellUtil.cloneValue(current));
40.                 System.out.println(row+","+family+","+qualifier+","+value);
41.             }
42.         }
45.         conn.close();
46.     }
47. }

复制代码

删除一行数据

1. package com.doit.day02;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.TableName;
6. import org.apache.hadoop.hbase.client.*;
8. import java.io.IOException;
9. import java.nio.charset.StandardCharsets;
11. public class _12_删除一行数据 {
12.     public static void main(String[] args) throws IOException {
13.         Configuration conf = HBaseConfiguration.create();
14.         conf.set("hbase.zookeeper.quorum","linux01");
16.         Connection conn = ConnectionFactory.createConnection(conf);
18.         Table java = conn.getTable(TableName.valueOf("java"));
20.         Delete delete = new Delete("rowkey_001".getBytes(StandardCharsets.UTF_8));
22.         java.delete(delete);
24.     }
25. }

复制代码

数据存储

行式存储

传统的行式数据库将一个个完整的数据行存储在数据页中
列式存储

列式数据库是将同一个数据列的各个值存放在一起

传统行式数据库的特性如下：

• 数据是按行存储的。
  
• 没有索引的查询使用大量I/O。比如一般的数据库表都会建立索引，通过索引加快查询效率。
  
• 建立索引和物化视图需要花费大量的时间和资源。
  
• 面对查询需求，数据库必须被大量膨胀才能满足需求。
  

列式数据库的特性如下：

• 数据按列存储，即每一列单独存放。
  
• 数据即索引。
  
• 只访问查询涉及的列，可以大量降低系统I/O。
  
• 每一列由一个线程来处理，即查询的并发处理性能高。
  
• 数据类型一致，数据特征相似，可以高效压缩。比如有增量压缩、前缀压缩算法都是基于列存储的类型定制的，所以可以大幅度提高压缩比，有利于存储和网络输出数据带宽的消耗。
  

列族式存储

列族式存储是一种非关系型数据库存储方式，按列而非行组织数据。它的数据模型是面向列的，即把数据按照列族的方式组织，将属于同一列族的数据存储在一起。每个列族都有一个唯一的标识符，一般通过列族名称来表示。它具有高效的写入和查询性能，能够支持极大规模的数据

• 如果一个表有多个列族, 每个列族下只有一列, 那么就等同于列式存储。
  
• 如果一个表只有一个列族, 该列族下有多个列, 那么就等同于行式存储.
  

hbase的存储路径：

在conf目录下的hbase-site.xml文件中配置了数据存储的路径在hdfs上

1. <property>
2. <name>hbase.rootdir</name>
3. <value>hdfs://linux01:8020/hbase</value>
4. </property>

复制代码

hdfs上的存储路径：



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！