Java JDBC连接Kerberos认证的HIVE 和 Impala

``
1. 版本

HIVE 2.1.1-cdh6.3.2版本需对应版本的 Hive JDBC 和 Impala JDBC，如下：
   注意：单独使用HIVE JDBC ，使用版本 3.1.0，使用 Impala JDBC 需要搭配 HIVE JDBC 1.1.0使用，不然会报错；搭配HIVE JDBC 3.1.0 报：java.lang.NoClassDefFoundErrorrg/apache/hive/service/cli/thrift/TCLIService$Client

1.        <dependency>
2.          <groupId>org.apache.hive</groupId>
3.          <artifactId>hive-exec</artifactId>
4.          <version>3.1.0</version>
5.        </dependency>
6.        <dependency>
7.          <groupId>org.apache.hadoop</groupId>
8.          <artifactId>hadoop-common</artifactId>
9.          <version>3.1.0</version>
10.        </dependency>
11.        <dependency>
12. <!--        <dependency>-->
13. <!--            <groupId>org.apache.hive</groupId>-->
14. <!--            <artifactId>hive-jdbc</artifactId>-->
15. <!--            <version>3.1.0</version>-->
16. <!--        </dependency>-->
17.        <dependency>
18.          <groupId>org.apache.hadoop</groupId>
19.          <artifactId>hadoop-auth</artifactId>
20.          <version>3.1.0</version>
21.        </dependency>
22.        <dependency>
23.          <groupId>com.cloudera.impala</groupId>
24.          <artifactId>impala-jdbc41</artifactId>
25.          <version>2.5.28</version>
26.        </dependency>
27.        <dependency>
28.            <groupId>org.apache.hive</groupId>
29.            <artifactId>hive-jdbc</artifactId>
30.            <version>1.1.0</version>
31.        </dependency>

复制代码

1.1 手动安装 maven

假如 Maven 库没有相应JDBC，手动安装 maven，如下：

1. mvn install:install-file -D file=C:\Users\mx\Desktop\impala-jdbc41-0.0.1.jar -D groupId=com.cloudera.impala -D artifactId=impala-jdbc42 -D version=2.6.33 -D packaging=jar

复制代码

2. 映射地址

因kerberos SPN配置必须使用主机名链接，Linux 和 Windows需要配置hosts，格式：IP地址 主机名，配置完成之后 telnet 检测
   说明：假如是docker容器链接 Hive 或 Impala ，还需要在docker容器中配置 hosts，保证主机和容器 telent 都是通的
telnet hostname port
  

2.1 端口

开通 HIVE 和 Impala 相应的端口，当地调试按需将 IP 和 端口加入白名单

• HIVE TCP端口：jdbc:hive2://hostname:10000
  
• Impala TCP端口：jdbc:impala://hostname:21050
  
• Hdfs TCP端口：hdfs://hostname:8020
  
• Kerberos UDP端口：88
  

2.2 调试

使用 telnet hostname port ，调试以上 hostname 和 端口，保障网络连通
3 HIVE JDBC 连接 Kerberos 认证的 HIVE 集群

1. package com.test;
3. import java.sql.Connection;
4. import java.sql.DriverManager;
5. import java.sql.ResultSet;
6. import java.sql.Statement;
7. import org.apache.hadoop.conf.Configuration;
8. import org.apache.hadoop.security.UserGroupInformation;
10. public class HiveKerberosConnectionExample {
12.     private static String krb5 = "src/main/resources/krb5.conf";
13.     private static String keytab = "src/main/resources/hive.keytab";
14.     private static String principal = "hive@EXAMPLE.COM";
15.     private static String hiveUrl = "jdbc:hive2://host:10000/test;principal=hive/_HOST@EXAMPLE.COM";
17.     public static void main(String[] args) throws Exception {
18.         // 设置Kerberos配置文件路径
19.         System.setProperty("java.security.krb5.conf", krb5);
20.         System.setProperty("sun.security.krb5.debug", "true"); // 可选，用于调试 Kerberos 认证过程
21.         // 初始化Hadoop配置
22.         Configuration conf = new Configuration();
23.         conf.set("hadoop.security.authentication", "kerberos");
24.         // 使用Keytab进行Kerberos身份验证
25.         UserGroupInformation.setConfiguration(conf);
26.         UserGroupInformation.loginUserFromKeytab(principal, keytab);
27.         
28.         // 建立Hive连接
29.         Class.forName("org.apache.hive.jdbc.HiveDriver");
30.         Connection connection = DriverManager.getConnection(hiveUrl, "", "");
32.         // 执行查询
33.         Statement stmt = connection.createStatement();
34.         ResultSet res = stmt.executeQuery("select * from test.tblname");
36.         // 处理结果
37.         while (res.next()) {
38.             //a,b,c,ds 为 tblname表字段
39.             String data = res.getString("a") + "," + res.getString("b") + "," + res.getString("c") + "," + res.getString("ds");
40.             System.out.println("************** 输出 tblname***************************");
41.             System.out.println(data);
42.         }
44.         // 关闭资源
45.         res.close();
46.         stmt.close();
47.         connection.close();
48.     }
49. }

复制代码

4 HIVE JDBC 连接 Kerberos 认证的 Impala 集群

1. package com.test;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.security.UserGroupInformation;
6. import java.security.PrivilegedAction;
7. import java.sql.*;
10. public class ImpalaKerberosConnectionExample {
11.     private static String krb5 = "src/main/resources/krb5.conf";
12.     private static String keytab = "src/main/resources/impala.keytab";
13.     private static String principal = "impala@EXAMPLE.COM";
14.     private static String impalaUrl = "jdbc:hive2://host:21050/test;principal=impala/_HOST@EXAMPLE.COM";
15.     public static void main(String[] args) throws Exception {
16.         // 设置Kerberos配置文件路径
17.         System.setProperty("java.security.krb5.conf", krb5);
18.         System.setProperty("sun.security.krb5.debug", "true"); // 可选，用于调试 Kerberos 认证过程
19.         // 初始化Hadoop配置
20.         Configuration conf = new Configuration();
21.         conf.set("hadoop.security.authentication", "kerberos");
22.         // 使用Keytab进行Kerberos身份验证
23.         UserGroupInformation.setConfiguration(conf);
24.         UserGroupInformation.loginUserFromKeytab(principal, keytab);
25.         UserGroupInformation loginUser = UserGroupInformation.getLoginUser();
27.         //使用HIVE jdbc 建立Impala连接
28.         Class.forName("org.apache.hive.jdbc.HiveDriver");
29.         // Impala Jdbc 和 HIVE Jdbc 查询
30. //        loginUser.doAs((PrivilegedAction<Void>) () -> {
31. //            try {
32. //                try (Connection connection = DriverManager.getConnection(impalaUrl,"","")) {
33. //                    try (Statement statement = connection.createStatement()) {
34. //                        ResultSet resultSet = statement.executeQuery("SELECT * FROM test.tblname LIMIT 10");
35. //                        while (resultSet.next()) {
36. //                            String data = resultSet.getString("a") + "," + resultSet.getString("b") + "," + resultSet.getString("c") + "," + resultSet.getString("ds");
37. //                            System.out.println("************** 输出 tblname***************************");
38. //                            System.out.println(data);
39. //                        }
40. //                        resultSet.close();
41. //                    }
42. //                }
43. //            } catch (SQLException e) {
44. //                e.printStackTrace();
45. //            }
46. //            return null;
47. //        });
49.         // HIVE JDBC 查询,Impala Jdbc 查询报 kerberos 认证失败 1312 码
50.         Connection connection = DriverManager.getConnection(impalaUrl, "", "");
51.         Statement stmt = connection.createStatement();
52.         ResultSet res = stmt.executeQuery("SELECT * FROM test.tlbname LIMIT 10");
54.         // 处理结果
55.         while (res.next()) {
56.             String data = res.getString("a") + "," + res.getString("b") + "," + res.getString("c") + "," + res.getString("ds");
57.             System.out.println("************** Impala 输出 tblname ***************************");
58.             System.out.println(data);
59.         }
61.         // 关闭资源
62.         res.close();
63.         stmt.close();
64.         connection.close();
65.     }
66. }

复制代码

5 Impala JDBC 连接 Kerberos 认证的 Impala 集群

1. package com.test;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.security.UserGroupInformation;
6. import java.security.PrivilegedAction;
7. import java.sql.*;
10. public class ImpalaKerberosConnectionExample {
11.     private static String krb5 = "src/main/resources/krb5.conf";
12.     private static String keytab = "src/main/resources/impala.keytab";
13.     private static String principal = "impala@EXAMPLE.COM";
14.     private static String impalaUrl = "jdbc:impala://host:21050/test;AuthMech=1;KrbRealm=EXAMPLE.COM;KrbHostFQDN=host;KrbServiceName=impala";
15.     public static void main(String[] args) throws Exception {
16.         // 设置Kerberos配置文件路径
17.         System.setProperty("java.security.krb5.conf", krb5);
18.         System.setProperty("sun.security.krb5.debug", "true"); // 可选，用于调试 Kerberos 认证过程
19.         // 初始化Hadoop配置
20.         Configuration conf = new Configuration();
21.         conf.set("hadoop.security.authentication", "kerberos");
22.         // 使用Keytab进行Kerberos身份验证
23.         UserGroupInformation.setConfiguration(conf);
24.         UserGroupInformation.loginUserFromKeytab(principal, keytab);
25.         UserGroupInformation loginUser = UserGroupInformation.getLoginUser();
26.         // 使用 Impala jdbc 建立Impala连接
27.         Class.forName("com.cloudera.impala.jdbc41.Driver");// 搭配HIVE JDBC 3.1.0报：java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService$Client
29.         //使用HIVE jdbc 建立Impala连接
30. //        Class.forName("org.apache.hive.jdbc.HiveDriver");
31.         // Impala查询
32.         loginUser.doAs((PrivilegedAction<Void>) () -> {
33.             try {
34.                 try (Connection connection = DriverManager.getConnection(impalaUrl,"","")) {
35.                     try (Statement statement = connection.createStatement()) {
36.                         ResultSet resultSet = statement.executeQuery("SELECT * FROM test.tblname LIMIT 10");
37.                         while (resultSet.next()) {
38.                             String data = resultSet.getString("a") + "," + resultSet.getString("b") + "," + resultSet.getString("c") + "," + resultSet.getString("ds");
39.                             System.out.println("************** Impala 输出 tlbname ***************************");
40.                             System.out.println(data);
41.                         }
42.                         resultSet.close();
43.                     }
44.                 }
45.             } catch (SQLException e) {
46.                 e.printStackTrace();
47.             }
48.             return null;
49.         });
50.     }
51. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。