ToB企服应用市场:ToB评测及商务社交产业平台

标题: 聊聊流式数据湖Paimon(五) [打印本页]
作者: 不到断气不罢休    时间: 2024-3-9 21:23
标题: 聊聊流式数据湖Paimon(五)
从Demo入手，了解Paimon/Flink项目搭建的全过程。记录下采坑之旅。
创建Flink项目

在IDEA中创建Flink项目，由于没有Flink的archetype，因此需要手动创建一下。
参考：idea快速创建flink项目，至此Flink的项目框架就搭建起来了。
注意：必须注释掉pom文件中的provided；否则运行时会报错：
Error: A JNI error has occurred, please check your installation and try again

搭建Flink伪集群

在 Flink包地址 中，选择对应的版本，下载文件
解压后，其文件内容，如下

在bin目录下，运行start-cluster.bat脚本即可。打开浏览器访问：localhost:8081，就可以查看Flink的webui

高版本的Flink中已经没有bat脚本，可参考 flink新版本无bat启动文件的解决办法
补充缺失的依赖

Flink的框架搭建好之后，参考 新一代数据湖存储技术Apache Paimon入门Demo 写一个简单的Paimon程序。但在这个过程中，必须补充 缺失的POM依赖。而这些依赖在编译时并不会报错，一旦运行，各种各样的抛错：
java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
Unable to create catalog xxx
Unsupported SQL query! executeSql()
如下是所有需要的pom依赖：
  1. <dependency>
  2.   <groupId>org.apache.flink</groupId>
  3.   <artifactId>flink-streaming-java</artifactId>
  4.   <version>${flink.version}</version>
  5.   
  6. </dependency>
  7. <dependency>
  8.   <groupId>org.apache.flink</groupId>
  9.   <artifactId>flink-clients</artifactId>
  10.   <version>${flink.version}</version>
  11.   
  12. </dependency>
  13. <dependency>
  14.   <groupId>org.apache.flink</groupId>
  15.   <artifactId>flink-table-api-java-bridge</artifactId>
  16.   <version>1.18.0</version>
  17. </dependency>
  18. <dependency>
  19.   <groupId>org.apache.paimon</groupId>
  20.   <artifactId>paimon-flink-1.18</artifactId>
  21.   <version>0.6.0-incubating</version>
  22. </dependency>
  23. <dependency>
  24.   <groupId>org.apache.flink</groupId>
  25.   <artifactId>flink-table-planner-loader</artifactId>
  26.   <version>${flink.version}</version>
  27. </dependency>
  28. <dependency>
  29.   <groupId>org.apache.flink</groupId>
  30.   <artifactId>flink-table-runtime</artifactId>
  31.   <version>1.18.0</version>
  32. </dependency>
  33. <dependency>
  34.   <groupId>org.apache.flink</groupId>
  35.   <artifactId>flink-connector-base</artifactId>
  36.   <version>${flink.version}</version>
  37. </dependency>
  45. <dependency>
  46.   <groupId>org.apache.logging.log4j</groupId>
  47.   <artifactId>log4j-slf4j-impl</artifactId>
  48.   <version>${log4j.version}</version>
  49.   <scope>runtime</scope>
  50. </dependency>
  51. <dependency>
  52.   <groupId>org.apache.logging.log4j</groupId>
  53.   <artifactId>log4j-api</artifactId>
  54.   <version>${log4j.version}</version>
  55.   <scope>runtime</scope>
  56. </dependency>
  57. <dependency>
  58.   <groupId>org.apache.logging.log4j</groupId>
  59.   <artifactId>log4j-core</artifactId>
  60.   <version>${log4j.version}</version>
  61.   <scope>runtime</scope>
  62. </dependency>
  63. <dependency>
  64.   <groupId>org.apache.hadoop</groupId>
  65.   <artifactId>hadoop-common</artifactId>
  66.   <version>3.2.3</version>
  67. </dependency>
  68. <dependency>
  69.   <groupId>org.apache.hadoop</groupId>
  70.   <artifactId>hadoop-hdfs-client</artifactId>
  71.   <version>3.2.3</version>
  72. </dependency>
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4