ToB企服应用市场:ToB评测及商务社交产业平台

标题: 过滤器 [打印本页]

---

作者: 铁佛    时间: 2022-8-9 14:40
标题: 过滤器
 

HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filter）来查询。
 
过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，
基于 HBase 本身提供的三维有序（行键，列，版本有序），这些过滤器可以高效地完成查询过滤的任务，带有过滤器条件的 RPC （远程服务）查询请求会把过滤器分发到各个 RegionServer（这是一个服务端过滤器），这样也可以降低网络传输的压力。
使用过滤器至少需要两类参数：
一类是抽象的操作符，另一类是比较器

作用

• 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端
  
• 过滤器的类型很多，但是可以分为三大类：
  
  
  
  • 比较过滤器：可应用于rowkey、列簇、列、列值过滤器
    
  • 专用过滤器：只能适用于特定的过滤器
    
  • 包装过滤器：包装过滤器就是通过包装其他过滤器以实现某些拓展的功能。
    
  
  

比较过滤器

所有比较过滤器均继承自 CompareFilter。创建一个比较过滤器需要两个参数，分别是比较运算符和比较器实例。

1. public CompareFilter(final CompareOp compareOp,final ByteArrayComparable comparator) {
2.    this.compareOp = compareOp;
3.    this.comparator = comparator;
4.   }

复制代码

比较运算符

• LESS </p/lili p LESS_OR_EQUAL =/p/lili p EQUAL =/p/lili p NOT_EQUAL /p/lili p GREATER_OR_EQUAL =/p/lili p GREATER >
  
• NO_OP 排除所有
  

常见的六大比较过滤器

BinaryComparator

按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[])

BinaryPrefixComparator（前缀比较器）

通BinaryComparator，只是比较左端前缀的数据是否相同

NullComparator

判断给定的是否为空

BitComparator

按位比较

RegexStringComparator

提供一个正则的比较器，仅支持 EQUAL 和非EQUAL

SubstringComparator

判断提供的子串是否出现在中

代码演示

rowKey过滤器：RowFilter 行键过滤器

通过RowFilter与BinaryComparator过滤比rowKey 1500100010小的所有值出来

1.    /**
2.     *  行键过滤器
3.     *  通过RowFilter与BinaryComparator过滤比rowKey 1500100010小的所有值出来
4.     */
5.    @Test
6.    public void RowFilter1(){
7.        try {
8.            //获取表的实例
9.            HTableInterface students = conn.getTable("students");
10. ​
11.            BinaryComparator binaryComparator = new BinaryComparator("1500100010".getBytes());
12. ​
13.            //创建一个行键过滤器的对象
14.            RowFilter rowFilter = new RowFilter(CompareFilter.CompareOp.LESS, binaryComparator);
15. ​
16.            Scan scan = new Scan();
17.            scan.setFilter(rowFilter);//把过滤器传给扫描到的对象
18. ​
19.            ResultScanner scanner = students.getScanner(scan);
20.            print(scanner);
21. ​
22.        } catch (IOException e) {
23.            e.printStackTrace();
24.        }
25.    }
26. ​
27. ​
28.    /**
29.     *      专门用来打印数据的方法
30.     */
31.    public void print(ResultScanner scanner) throws IOException {
32.        Result rs = null;
33.        while ((rs = scanner.next()) != null) {
34.            String id = Bytes.toString(rs.getRow());
35. //                List<Cell> cells = rs.listCells();
36. //                System.out.print("id:" + id);
37. //                System.out.print("\t");
38. //                for (Cell cell : cells) {
39. ////                String s = Bytes.toString(cell.getValue());
40. //                    String col = Bytes.toString(CellUtil.cloneQualifier(cell));
41. //                    String s = Bytes.toString(CellUtil.cloneValue(cell));
42. //                    System.out.print(col + ":" + s);
43. //                    System.out.print("\t");
44. //                }
45. //                System.out.println();
46. ​
47.            String name = Bytes.toString(rs.getValue("info".getBytes(), "name".getBytes()));
48.            String age = Bytes.toString(rs.getValue("info".getBytes(), "age".getBytes()));
49.            String gender = Bytes.toString(rs.getValue("info".getBytes(), "gender".getBytes()));
50.            String clazz = Bytes.toString(rs.getValue("info".getBytes(), "clazz".getBytes()));
51.            System.out.println("学号：" + id + ",姓名：" + name + ",年龄：" + age + ",性别：" + gender + ",班级：" + clazz);
52. ​
53.        }
54.    }

复制代码

列簇过滤器：FamilyFilter

通过FamilyFilter与SubstringComparator查询列簇名包含in的所有列簇下面的数据

1.    /**
2.     *      列簇过滤器案例1：通过FamilyFilter与SubstringComparator查询列簇名包含in的所有列簇下面的数据
3.     */
4.    @Test
5.    public void FamilyFilter1(){
6.        try {
7.            //获取表的实例
8.            HTableInterface students = conn.getTable("students");
9. ​
10.            //创建一个比较器对象
11.            //只要列簇名中包含了in，就把该列簇下的所有列查询出来
12.            SubstringComparator substringComparator = new SubstringComparator("in");
13. ​
14.            //创建列簇过滤器
15.            FamilyFilter familyFilter = new FamilyFilter(CompareFilter.CompareOp.EQUAL, substringComparator);
16. ​
17.            Scan scan = new Scan();
18.            scan.setFilter(familyFilter);//把过滤器传给扫描到的对象
19. ​
20.            //获取数据
21.            ResultScanner scanner = students.getScanner(scan);
22.            print(scanner);
23. ​
24. ​
25.        } catch (IOException e) {
26.            e.printStackTrace();
27.        }
28.    }

复制代码

通过FamilyFilter与 BinaryPrefixComparator 过滤出列簇以i开头的列簇下的所有数据

1.    /**
2.     * 列簇过滤器案例2：通过FamilyFilter与 BinaryPrefixComparator 过滤出列簇以i开头的列簇下的所有数据
3.     *
4.     */
5.    @Test
6.    public void FamilyFilter2(){
7.        try {
8.            //获取表的实例
9.            HTableInterface students = conn.getTable("students");
10. ​
11.            //创建前缀比较器
12.            BinaryPrefixComparator binaryPrefixComparator = new BinaryPrefixComparator("i".getBytes());
13. ​
14.            //创建列簇过滤器
15.            FamilyFilter familyFilter = new FamilyFilter(CompareFilter.CompareOp.EQUAL, binaryPrefixComparator);
16. ​
17.            Scan scan = new Scan();
18.            scan.setFilter(familyFilter);
19. ​
20.            ResultScanner scanner = students.getScanner(scan);
21.            print(scanner);
22. ​
23.        } catch (IOException e) {
24.            e.printStackTrace();
25.        }
26.    }

复制代码

列过滤器：QualifierFilter

通过QualifierFilter与SubstringComparator查询列名包含ge的列的值

1.    /**
2.     * 列过滤器案例1：通过QualifierFilter与SubstringComparator查询列名包含ge的列的值
3.     *
4.     */
5.    @Test
6.    public void QualifierFilter1(){
7.        try {
8.            //获取表的实例
9.            HTableInterface students = conn.getTable("students");
10. ​
11.            //创建包含比较器
12.            //age
13.            //gender
14.            SubstringComparator substringComparator = new SubstringComparator("ge");
15. ​
16.            //创建一个列过滤器
17.            QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, substringComparator);
18. ​
19.            Scan scan = new Scan();
20.            scan.setFilter(qualifierFilter);
21. ​
22.            ResultScanner scanner = students.getScanner(scan);
23.            print(scanner);
24. ​
25. ​
26.        } catch (IOException e) {
27.            e.printStackTrace();
28.        }
29.    }

复制代码

过滤出列的名字中 包含 "am" 所有的列 及列的值

1.    /**
2.     *
3.     * 列过滤器案例2：通过QualifierFilter与SubstringComparator查询列名包含ge的列的值
4.     */
5.    @Test
6.    public void QualifierFilter2(){
7.        try {
8.            //获取表的实例
9.            HTableInterface students = conn.getTable("students");
10. ​
11.            SubstringComparator substringComparator = new SubstringComparator("am");
12. ​
13.            //创建列过滤器
14.            QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, substringComparator);
15. ​
16.            Scan scan = new Scan();
17.            scan.setFilter(qualifierFilter);
18. ​
19.            ResultScanner scanner = students.getScanner(scan);
20.            print(scanner);
21. ​
22.        } catch (IOException e) {
23.            e.printStackTrace();
24.        }
25.    }

复制代码

列值过滤器：ValueFilter

通过ValueFilter与BinaryPrefixComparator过滤出所有的cell中值以 "张" 开头的学生

1.    /**
2.     * 列值过滤器案例1:通过ValueFilter与BinaryPrefixComparator过滤出所有的cell中值以 "张" 开头的学生
3.     */
4.    @Test
5.    public void ValueFilter1() {
6.        try {
7.            //获取表的实例
8.            HTableInterface students = conn.getTable("students");
9. ​
10.            //创建前缀比较器
11.            BinaryPrefixComparator binaryPrefixComparator = new BinaryPrefixComparator("张".getBytes());
12. ​
13.            //创建列值过滤器的对象
14.            ValueFilter valueFilter = new ValueFilter(CompareFilter.CompareOp.EQUAL, binaryPrefixComparator);
15. ​
16.            Scan scan = new Scan();
17.            scan.setFilter(valueFilter);
18. ​
19.            ResultScanner scanner = students.getScanner(scan);
20. ​
21.            //因为ResultScanner类继承了迭代器
22.            //使用增强for循环遍历
23. //            for (Result rs : scanner) {
24. //                String id = Bytes.toString(rs.getRow());
25. //                System.out.println("当前行的rowkey为：" + id);
26. //                //继续增强for循环得到每一行中的每一个单元格（列）
27. //                //获取一行中的所有单元格
28. //                for (Cell cell : rs.listCells()) {
29. //                    //获取该单元格属于的列簇
30. //                    String family = Bytes.toString(CellUtil.cloneFamily(cell));
31. //                    //获取该单元格的列名
32. //                    String colName = Bytes.toString(CellUtil.cloneQualifier(cell));
33. //                    //获取该单元格的列值
34. //                    String value = Bytes.toString(CellUtil.cloneValue(cell));
35. //                    System.out.println(family + ":" + colName + "的值为：" + value);
36. //                }
37. //            }
38. ​
39.            print(scanner);
40.        } catch (IOException e) {
41.            e.printStackTrace();
42.        }
43.    }

复制代码

过滤出文科的学生，只会返回以文科开头的数据列，其他列的数据不符合条件，不会返回

1.    /**
2.     *      列值过滤器案例2：> 过滤出文科的学生，只会返回以文科开头的数据列，其他列的数据不符合条件，不会返回
3.     */
4.    @Test
5.    public void ValueFilter12(){
6.        try {
7.            //获取表的实例
8.            HTableInterface students = conn.getTable("students");
9. ​
10.            //创建正则比较器
11.            RegexStringComparator regexStringComparator = new RegexStringComparator("^文科.*");
12. ​
13.            //创建列值过滤器
14.            ValueFilter valueFilter = new ValueFilter(CompareFilter.CompareOp.EQUAL, regexStringComparator);
15. ​
16.            Scan scan = new Scan();
17.            scan.setFilter(valueFilter);
18. ​
19.            ResultScanner scanner = students.getScanner(scan);
20.            print(scanner);
21. ​
22. ​
23.        } catch (IOException e) {
24.            e.printStackTrace();
25.        }
26.    }

复制代码

专用过滤器

单列值过滤器：SingleColumnValueFilter

SingleColumnValueFilter会返回满足条件的cell所在行的所有cell的值（即会返回一行数据）
通过SingleColumnValueFilter与查询文科班所有学生信息

1.    /**
2.     * 单列值过滤器
3.     * SingleColumnValueFilter会返回满足条件的cell所在行的所有cell的值（即会返回一行数据）
4.     *
5.     * 通过SingleColumnValueFilter与查询文科班所有学生信息
6.     */
7.    @Test
8.    public void SingleColumnValueFilter(){
9.        try {
10.            //获取表的实例
11.            HTableInterface students = conn.getTable("students");
12. ​
13.            //创建一个正则比较器
14.            RegexStringComparator regexStringComparator = new RegexStringComparator("^文科.*");
15. ​
16.            //创建单列值过滤器对象
17.            SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter(
18.                    "info".getBytes(),
19.                    "clazz".getBytes(),
20.                    CompareFilter.CompareOp.EQUAL,
21.                    regexStringComparator
22.            );
23. ​
24.            Scan scan = new Scan();
25.            scan.setFilter(singleColumnValueFilter);
26. ​
27.            ResultScanner scanner = students.getScanner(scan);
28.            print(scanner);
29. ​
30. ​
31.        } catch (IOException e) {
32.            e.printStackTrace();
33.        }
34.    }
35. ​
36. ​
37. ​
38. ​
39.    /**
40.     * 专门用来打印数据的方法
41.     */
42.    public void print(ResultScanner scanner) throws IOException {
43.        Result rs = null;
44.        while ((rs = scanner.next()) != null) {
45.            String id = Bytes.toString(rs.getRow());
46.            List<Cell> cells = rs.listCells();
47.            System.out.print("id:" + id);
48.            System.out.print("\t");
49.            for (Cell cell : cells) {
50. //                String s = Bytes.toString(cell.getValue());
51.                String col = Bytes.toString(CellUtil.cloneQualifier(cell));
52.                String s = Bytes.toString(CellUtil.cloneValue(cell));
53.                System.out.print(col + ":" + s);
54.                System.out.print("\t");
55.            }
56.            System.out.println();
57. ​
58. //            String name = Bytes.toString(rs.getValue("info".getBytes(), "name".getBytes()));
59. //            String age = Bytes.toString(rs.getValue("info".getBytes(), "age".getBytes()));
60. //            String gender = Bytes.toString(rs.getValue("info".getBytes(), "gender".getBytes()));
61. //            String clazz = Bytes.toString(rs.getValue("info".getBytes(), "clazz".getBytes()));
62. //            System.out.println("学号：" + id + ",姓名：" + name + ",年龄：" + age + ",性别：" + gender + ",班级：" + clazz);
63. ​
64.        }
65.    }
66. ​

复制代码

列值排除过滤器：SingleColumnValueExcludeFilter

与SingleColumnValueFilter相反，会排除掉指定的列，其他的列全部返回
通过SingleColumnValueExcludeFilter与BinaryComparator查询文科一班所有学生信息，最终不返回clazz列

1.    /**
2.     * 列值排除过滤器
3.     * 与SingleColumnValueFilter相反，会排除掉指定的列，其他的列全部返回
4.     *
5.     * 通过SingleColumnValueExcludeFilter与BinaryComparator查询文科一班所有学生信息，最终不返回clazz列
6.     */
7.    @Test
8.    public void SingleColumnValueExcludeFilter(){
9.        try {
10.            //获取表的实例
11.            HTableInterface students = conn.getTable("students");
12. ​
13.            //创建一个二进制比较器
14.            BinaryComparator binaryComparator = new BinaryComparator("文科一班".getBytes());
15. ​
16.            //创建一个列值排除过滤器
17.            SingleColumnValueExcludeFilter singleColumnValueExcludeFilter = new SingleColumnValueExcludeFilter(
18.                    "info".getBytes(),
19.                    "clazz".getBytes(),
20.                    CompareFilter.CompareOp.EQUAL,
21.                    binaryComparator
22.            );
23. ​
24.            Scan scan = new Scan();
25.            scan.setFilter(singleColumnValueExcludeFilter);
26. ​
27.            ResultScanner scanner = students.getScanner(scan);
28.            print(scanner);
29. ​
30. ​
31.        } catch (IOException e) {
32.            e.printStackTrace();
33.        }
34.    }

复制代码

rowkey前缀过滤器：PrefixFilter

通过PrefixFilter查询以150010008开头的所有前缀的rowkey

1.    /**
2.     * rowkey前缀过滤器
3.     *
4.     * 通过PrefixFilter查询以150010008开头的所有前缀的rowkey
5.     */
6.    @Test
7.    public void PrefixFilter(){
8.        try {
9.            //获取表的实例
10.            HTableInterface students = conn.getTable("students");
11. ​
12.            //创建rowkey前缀过滤器
13.            PrefixFilter prefixFilter = new PrefixFilter("150010008".getBytes());
14.            Scan scan = new Scan();
15. ​
16.            scan.setFilter(prefixFilter);
17.            ResultScanner scanner = students.getScanner(scan);
18.            print2(scanner);
19. ​
20. ​
21.        } catch (IOException e) {
22.            e.printStackTrace();
23.        }
24. ​
25.    }

复制代码

分页过滤器PageFilter

通过PageFilter查询三页的数据，每页10条
使用PageFilter分页效率比较低，每次都需要扫描前面的数据，直到扫描到所需要查的数据
可设计一个合理的rowkey来实现分页需求

1. # 注意事项：
2. 客户端进行分页查询，需要传递 startRow(起始 RowKey)，知道起始 startRow 后，就可以返回对应的 pageSize 行数据。这里唯一的问题就是，对于第一次查询，显然 startRow 就是表格的第一行数据，但是之后第二次、第三次查询我们并不知道 startRow，只能知道上一次查询的最后一条数据的 RowKey（简单称之为 lastRow）。
3. ​
4. 我们不能将 lastRow 作为新一次查询的 startRow 传入，因为 scan 的查询区间是[startRow，endRow) ，即前闭后开区间，这样 startRow 在新的查询也会被返回，这条数据就重复了。
5. ​
6. 同时在不使用第三方数据库存储 RowKey 的情况下，我们是无法通过知道 lastRow 的下一个 RowKey 的，因为 RowKey 的设计可能是连续的也有可能是不连续的。
7. ​
8. 由于 Hbase 的 RowKey 是按照字典序进行排序的。这种情况下，就可以在 lastRow 后面加上 0 ，作为 startRow 传入，因为按照字典序的规则，某个值加上 0 后的新值，在字典序上一定是这个值的下一个值，对于 HBase 来说下一个 RowKey 在字典序上一定也是等于或者大于这个新值的。
9. ​
10. 所以最后传入 lastRow+0，如果等于这个值的 RowKey 存在就从这个值开始 scan,否则从字典序的下一个 RowKey 开始 scan。
11. ​
12. 25 个字母以及数字字符，字典排序如下:
13. ​
14. '0' < '1' < '2' < ... < '9' < 'a' < 'b' < ... < 'z'

复制代码

需要注意的是在多台 Regin Services 上执行分页过滤的时候，由于并行执行的过滤器不能共享它们的状态和边界，所以有可能每个过滤器都会在完成扫描前获取了 PageCount 行的结果，这种情况下会返回比分页条数更多的数据，分页过滤器就有失效的可能。

[code]    /**     * 分页过滤器     * 通过PageFilter查询三页的数据，每页10条     */​    @Test    public void PageFilter() {        try {            //获取表的实例            HTableInterface students = conn.getTable("students");            //定义要查询的页数            int pageNum = 3;            //定义每页的条数            int pageSize = 10;            Scan scan = new Scan();​            //定义一开始的行            String current_page_start_row = "";​            for (int i = 1; i

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4