大数据实行 实行三：熟悉常用的HBase操纵

实行三 熟悉常用的HBase操纵

一、实行目标

（1）理解HBase在Hadoop体系布局中的角色；
（2）熟练使用HBase操纵常用的Shell下令；
（3）熟悉HBase操纵常用的Java API。
二、实行平台

操纵体系：centos7；
Hadoop版本：3.3；
HBase版本：2.2.2；
JDK版本：1.8；
Java IDE：IDEA。
三、实行内容和要求

（一）编程实现以下指定功能，并用Hadoop提供的HBase Shell下令完成相同任务：

（1） 列出HBase全部的表的相干信息，例如表名、创建时间等；

（2） 在终端打印出指定的表的全部记录数据；

（3） 向已经创建好的表添加和删除指定的列族或列；

（4） 清空指定的表的全部记录数据；

（5） 统计表的行数。

（二）HBase数据库操纵

1 现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：

学生表（Student)
学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）2015001Zhangsanmale232015003Maryfemale222015003Lisimale24 课程表（Course）
课程号（C_No）课程名（C_Name）学分（C_Credit）123001Math2.0123002Computer5.0123003English3.0 选课表（SC）
学号（SC_Sno）课程号（SC_Cno）成绩（SC_Score）201500112300186201500112300369201500212300277201500212300399201500312300198201500312300295 2 请编程实现以下功能：

（1) createTable(String tableName, String[] fields)

创建表，参数tableName为表的名称，字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

1. package Main;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.hbase.HBaseConfiguration;
5. import org.apache.hadoop.hbase.TableName;
6. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
7. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
8. import org.apache.hadoop.hbase.client.Connection;
9. import org.apache.hadoop.hbase.client.Admin;
10. import org.apache.hadoop.hbase.client.ConnectionFactory;
11. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
12. import org.apache.hadoop.hbase.util.Bytes;
13. import java.io.IOException;
15. public class main {
16.     public static Configuration configuration;
17.     public static Connection connection;
18.     public static Admin admin;
20.     public static void init(){//建立连接
21.         configuration = HBaseConfiguration.create();
22.         configuration.set("hbase.rootdir","hdfs://127.0.0.1:8020/hbase");
23.         try{
24.             connection = ConnectionFactory.createConnection(configuration);
25.             admin = connection.getAdmin();
26.         }catch(IOException e){
27.             e.printStackTrace();
28.         }
29.     }
30.     public static void close(){//关闭连接
31.         try{
32.             if(admin != null){
33.                 admin.close();
34.             }
35.             if(connection != null){
36.                 connection.close();
37.             }
38.         }catch(IOException e){
39.             e.printStackTrace();
40.         }
41.     }
42.     public static void createTable(String tableName,String[] fields) throws IOException{
43.         init();
44.         TableName tablename = TableName.valueOf(tableName);//定义表名
45.         if(admin.tableExists(tablename)){
46.             System.out.println("table is exists!");
47.             admin.disableTable(tablename);
48.             admin.deleteTable(tablename);
49.         }
50.         TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tablename);
51.         for(int i=0;i<fields.length;i++){
52.             ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(fields[i])).build();
53.             tableDescriptor.setColumnFamily(family);
54.         }
55.         admin.createTable(tableDescriptor.build());
56.         close();
57.     }
58.     public static void main(String[] args){
59.         String[] fields = {"id","score"};
60.         try{
61.             createTable("test",fields);
62.         }catch(IOException e){
63.             e.printStackTrace();
64.         }
65.     }
66. }

复制代码

运行结果

（2）addRecord(String tableName, String row, String[] fields, String[] values)

向表tableName、行row（用S_Name表示）和字符串数组fields指定的单元格中添加对应的数据values。其中，fields中每个元素如果对应的列族下另有相应的列限定符的话，用“columnFamily:column”表示。例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”}，数组values存储这三门课的成绩。

1. package Main;
3. import java.io.IOException;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.TableName;
7. import org.apache.hadoop.hbase.client.Admin;
8. import org.apache.hadoop.hbase.client.Connection;
9. import org.apache.hadoop.hbase.client.ConnectionFactory;
10. import org.apache.hadoop.hbase.client.Put;
11. import org.apache.hadoop.hbase.client.Table;
14. public class main {
15.     public static Configuration configuration;
16.     public static Connection connection;
17.     public static Admin admin;
19.     public static void init(){//建立连接
20.         configuration = HBaseConfiguration.create();
21.         configuration.set("hbase.rootdir","hdfs://127.0.0.1:8020/hbase");
22.         try{
23.             connection = ConnectionFactory.createConnection(configuration);
24.             admin = connection.getAdmin();
25.         }catch(IOException e){
26.             e.printStackTrace();
27.         }
28.     }
29.     public static void close(){//关闭连接
30.         try{
31.             if(admin != null){
32.                 admin.close();
33.             }
34.             if(connection != null){
35.                 connection.close();
36.             }
37.         }catch(IOException e){
38.             e.printStackTrace();
39.         }
40.     }
41.     public static void addRecord(String tableName,String row,String[] fields,String[] values) throws IOException{
42.         init();//连接Hbase
43.         Table table = connection.getTable(TableName.valueOf(tableName));//表连接
44.         Put put = new Put(row.getBytes());//创建put对象
45.         for(int i=0;i<fields.length;i++){
46.             String[] cols = fields[i].split(":");
47.             if(cols.length == 1){
48.                 put.addColumn(fields[i].getBytes(),"".getBytes(),values[i].getBytes());
49.             }
50.             else{
51.                 put.addColumn(cols[0].getBytes(),cols[1].getBytes(),values[i].getBytes());
52.             }
53.             table.put(put);//向表中添加数据
54.         }
55.         close();//关闭连接
56.     }
57.     public static void main(String[] args){
58.         String[] fields = {"Score:Math","Score:Computer Science","Score:English"};
59.         String[] values = {"85","80","90"};
60.         try{
61.             addRecord("grade","S_Name",fields,values);
62.         }catch(IOException e){
63.             e.printStackTrace();
64.         }
65.     }
66. }

复制代码

3）scanColumn(String tableName, String column)

欣赏表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列

1. package Main;
3. import java.io.IOException;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.Cell;
6. import org.apache.hadoop.hbase.CellUtil;
7. import org.apache.hadoop.hbase.HBaseConfiguration;
8. import org.apache.hadoop.hbase.TableName;
9. import org.apache.hadoop.hbase.client.Admin;
10. import org.apache.hadoop.hbase.client.Connection;
11. import org.apache.hadoop.hbase.client.ConnectionFactory;
12. import org.apache.hadoop.hbase.client.Result;
13. import org.apache.hadoop.hbase.client.ResultScanner;
14. import org.apache.hadoop.hbase.client.Scan;
15. import org.apache.hadoop.hbase.client.Table;
16. import org.apache.hadoop.hbase.util.Bytes;
19. public class main {
20.     public static Configuration configuration;
21.     public static Connection connection;
22.     public static Admin admin;
24.     public static void init(){//建立连接
25.         configuration = HBaseConfiguration.create();
26.         configuration.set("hbase.rootdir","hdfs://localhost:8020/hbase");
27.         try{
28.             connection = ConnectionFactory.createConnection(configuration);
29.             admin = connection.getAdmin();
30.         }catch(IOException e){
31.             e.printStackTrace();
32.         }
33.     }
34.     public static void close(){//关闭连接
35.         try{
36.             if(admin != null){
37.                 admin.close();
38.             }
39.             if(connection != null){
40.                 connection.close();
41.             }
42.         }catch(IOException e){
43.             e.printStackTrace();
44.         }
45.     }
46.     public static void showResult(Result result){
47.         Cell[] cells = result.rawCells();
48.         for(int i=0;i<cells.length;i++){
49.             System.out.println("RowName:"+new String(CellUtil.cloneRow(cells[i])));//打印行键
50.             System.out.println("ColumnName:"+new String(CellUtil.cloneQualifier(cells[i])));//打印列名
51.             System.out.println("Value:"+new String(CellUtil.cloneValue(cells[i])));//打印值
52.             System.out.println("Column Family:"+new String(CellUtil.cloneFamily(cells[i])));//打印列簇
53.             System.out.println();
54.         }
55.     }
56.     public static void scanColumn(String tableName,String column){
57.         init();
58.         try {
59.             Table table = connection.getTable(TableName.valueOf(tableName));
60.             Scan scan  = new Scan();
61.             scan.addFamily(Bytes.toBytes(column));
62.             ResultScanner scanner = table.getScanner(scan);
63.             for(Result result = scanner.next();result != null;result = scanner.next()){
64.                 showResult(result);
65.             }
66.         } catch (IOException e) {
67.             e.printStackTrace();
68.         }
69.         finally{
70.             close();
71.         }
72.     }
73.     public static void main(String[] args){
74.         scanColumn("test","id");
75.     }
76. }

复制代码

运行结果

（4）modifyData(String tableName, String row, String column)

修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。

1. package Main;
3. import java.io.IOException;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.TableName;
7. import org.apache.hadoop.hbase.client.Admin;
8. import org.apache.hadoop.hbase.client.Connection;
9. import org.apache.hadoop.hbase.client.ConnectionFactory;
10. import org.apache.hadoop.hbase.client.Put;
11. import org.apache.hadoop.hbase.client.Table;
14. public class main{
15.     public static Configuration configuration;
16.     public static Connection connection;
17.     public static Admin admin;
18.     public static void init(){//建立连接
19.         configuration = HBaseConfiguration.create();
20.         configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
21.         try{
22.             connection = ConnectionFactory.createConnection(configuration);
23.             admin = connection.getAdmin();
24.         }catch(IOException e){
25.             e.printStackTrace();
26.         }
27.     }
28.     public static void close(){//关闭连接
29.         try{
30.             if(admin != null){
31.                 admin.close();
32.             }
33.             if(connection != null){
34.                 connection.close();
35.             }
36.         }catch(IOException e){
37.             e.printStackTrace();
38.         }
39.     }
40.     public static void modifyData(String tableName,String row,String column,String value) throws IOException{
41.         init();
42.         Table table = connection.getTable(TableName.valueOf(tableName));
43.         Put put = new Put(row.getBytes());
44.         String[] cols = column.split(":");
45.         if(cols.length == 1){
46.             put.addColumn(column.getBytes(),"".getBytes(), value.getBytes());
47.         }
48.         else{
49.             put.addColumn(cols[0].getBytes(), cols[1].getBytes(), value.getBytes());
50.         }
51.         table.put(put);
52.         close();
53.     }
54.     public static void main(String[] args){
55.         try{
56.             modifyData("test","1","score","100");
57.         }
58.         catch(Exception e){
59.             e.printStackTrace();
60.         }
61.     }
62. }

复制代码

运行结果

此时row为1的score已经改为100
（5）deleteRow(String tableName, String row)

1. 删除表tableName中row指定的行的记录。

复制代码

1. package Main;
3. import java.io.IOException;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.TableName;
7. import org.apache.hadoop.hbase.client.Admin;
8. import org.apache.hadoop.hbase.client.Connection;
9. import org.apache.hadoop.hbase.client.ConnectionFactory;
10. import org.apache.hadoop.hbase.client.Delete;
11. import org.apache.hadoop.hbase.client.Table;
14. public class main {
15.     public static Configuration configuration;
16.     public static Connection connection;
17.     public static Admin admin;
18.     public static void init(){//建立连接
19.         configuration = HBaseConfiguration.create();
20.         configuration.set("hbase.rootdir","hdfs://localhost:8020/hbase");
21.         try{
22.             connection = ConnectionFactory.createConnection(configuration);
23.             admin = connection.getAdmin();
24.         }catch(IOException e){
25.             e.printStackTrace();
26.         }
27.     }
28.     public static void close(){//关闭连接
29.         try{
30.             if(admin != null){
31.                 admin.close();
32.             }
33.             if(connection != null){
34.                 connection.close();
35.             }
36.         }catch(IOException e){
37.             e.printStackTrace();
38.         }
39.     }
40.     public static void deleteRow(String tableName,String row) throws IOException{
41.         init();
42.         Table table = connection.getTable(TableName.valueOf(tableName));
43.         Delete delete = new Delete(row.getBytes());
44.         table.delete(delete);
45.         close();
46.     }
47.     public static void main(String[] args){
48.         try{
49.             deleteRow("test","2");
50.         }catch(Exception e){
51.             e.printStackTrace();
52.         }
53.     }
54. }

复制代码

此时row=2已经被删除

---

出现的题目

题目一
在安装hbase后master-status用欣赏器无法打开,而此时Hmaster和HregionServer,QuorumPeerMain已经启动
题目二

解决方法

题目一
在毗连Hbase后使用list下令后发现如下

发现原因是由于我启动Hbase使用的不是hbase自带的zookeeper,而是自己独立安装的,在hbase-env.sh下增加

1. export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

复制代码

重新启动后

题目解决
题目二
发现是maven导入包出现题目,再将hbase-client包换为2.5.3后题目解决

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。