Hudi安装设置（容器情况）大数据技能竞赛平台搭建

宁睿  论坛元老 | 2025-3-2 22:16:44 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1080|帖子 1080|积分 3250


情况预备

hadoop搭建（容器情况）
spark on yarn搭建（容器情况）
在上面情况搭建完成的底子上搭建hudi
预备好maven包和hudi包，可以去下面这里下载
apache-maven-3.6.3-bin.tar.gz
https://gitcode.com/xfcloud/BIgdataA/blob/main/hudi/apache-maven-3.6.3-bin.tar.gzhudi-0.12.0.src.tgz
https://gitcode.com/xfcloud/BIgdataA/blob/main/hudi/hudi-0.12.0.src.tgz
Hudi安装设置

本任务需要使用root用户完成相关设置，具体要求如下：
1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中，将maven相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）并设置maven当地库为/opt/software/RepMaven/，远程仓库使用阿里云镜像，设置maven的情况变量，并在/opt/下执行mvn -v，将运行效果截图粘贴至客户端桌面【Release\任务A提交效果.docx】中对应的任务序号下；

     <mirror>
   <id>nexus-aliyun</id>
   <mirrorOf>central</mirrorOf>
   <name>Nexus aliyun</name>
   <url>http://maven.aliyun.com/nexus/content/groups/public</url>
  </mirror>
  第一步：从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中

  1. [root@Bigdata ~]# docker cp /opt/apache-maven-3.6.3-bin.tar.gz master:/software
复制代码
第二步：将maven相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）

  1. [root@master ~]# tar zxvf /opt/software/apache-maven-3.6.3-bin.tar.gz -C /opt/module/
复制代码
第三步：设置maven当地库为/opt/software/RepMaven/，远程仓库使用阿里云镜像

  1. [root@master ~]# vi /opt/module/maven/conf/settings.xml
复制代码
当地仓库，找到 <localRepository>/path/to/local/repo</localRepository>这个后再下面添加
  1.   <localRepository>/opt/software/RepMaven/</localRepository>
复制代码

远程仓库，找到mirrors标签，在里面添加阿里云镜
  1.   <mirror>
  2.    <id>nexus-aliyun</id>
  3.    <mirrorOf>central</mirrorOf>
  4.    <name>Nexus aliyun</name>
  5.    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
  6.   </mirror>
复制代码

第四步：设置maven的情况变量

[root@master ~]# vi /etc/profile 添加相应的情况变量
  1. export MAVEN_HOME=/opt/module/maven
  2. export PATH=$PATH:$MAVEN_HOME/bin
复制代码
第五步：在/opt/下执行mvn -v

  1. [root@master ~]# cd /opt/
  2. [root@master opt]# mvn -v
复制代码


2、 从宿主机/opt目录下将Hudi相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中，将Hudi相关安装包解压到/opt/module/目录下（若路径不存在，则需新建），将下令复制并粘贴至客户端桌面【Release\任务A提交效果.docx】中对应的任务序号下；

第一步：从宿主机/opt目录下将Hudi相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中

  1. [root@Bigdata ~]# docker cp /opt/hudi-0.12.0.src.tgz master:/opt/software
复制代码
第二步：将Hudi相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）

  1. [root@master ~]# tar zxvf /opt/software/hudi-0.12.0.src.tgz -C /opt/module/
复制代码
3、 完成解压安装及设置后使用maven对Hudi进行构建（spark3.1,scala-2.12），编译完成后与Spark集成，集成后使用spark-shell操作Hudi，将spark-shell启动使用spark-shell运行下面给到的案例，并将最终查询效果截图粘贴至客户端桌面【Release\任务A提交效果.docx】中对应的任务序号下。

第一步：设置hudi

1）、替换父模块pom.xml（比赛有给直接替换就行，没给就自己设置）

替换为这个
 父模块pom.xml
https://gitcode.com/xfcloud/BIgdataA/blob/main/hudi/pom.xml
或者手动修改
  1. [root@master ~]# vi /opt/module/hudi-0.12.0/pom.xml
复制代码
新增repository加快依赖下载
  1. <repository>
  2.         <id>nexus-aliyun</id>
  3.         <name>nexus-aliyun</name>
  4.         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  5.         <releases>
  6.             <enabled>true</enabled>
  7.         </releases>
  8.         <snapshots>
  9.             <enabled>false</enabled>
  10.         </snapshots>
  11. </repository>
复制代码

修改依赖的组件版本，找到对应的标签修改就行了
  1. <hadoop.version>3.1.3</hadoop.version>
  2. <hive.version>3.1.2</hive.version>
复制代码
2）、HoodieParquetDataBlock.java替换（比赛有给直接替换就行，没给就自己设置）

替换为这个
 HoodieParquetDataBlock.java
https://gitcode.com/xfcloud/BIgdataA/blob/main/hudi/HoodieParquetDataBlock.java
或者手动修改
  1. [root@master ~]# vi /opt/module/hudi-0.12.0/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java
复制代码
修改第110行，原先只有一个参数，添加第二个参数null,否则会因为hadoop2.x和3.x版本兼容问题（找不到合适的FSDataOutputStream构造器）

3）、hudi-spark-bundle/pom.xml替换（比赛有给直接替换就行，没给就自己设置）

替换为这个
 hudi-spark-bundle/pom.xml
https://gitcode.com/xfcloud/BIgdataA/blob/main/hudi/hudi-spark-bundle/pom.xml
或者手动修改
  1. [root@master ~]# vi /opt/module/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml
复制代码
插入以下内容，标注插入的地方插入相应的内容
  1. <!-- Hive -->
  3.     <dependency>
  4.       <groupId>${hive.groupid}</groupId>
  5.       <artifactId>hive-service</artifactId>
  6.       <version>${hive.version}</version>
  7.       <scope>${spark.bundle.hive.scope}</scope>
  8.     <!-- 这里插入下面内容1 start -->  
  9.       <exclusions>
  10.         <exclusion>
  11.           <artifactId>guava</artifactId>
  12.           <groupId>com.google.guava</groupId>
  13.         </exclusion>
  14.         <exclusion>
  15.           <groupId>org.eclipse.jetty</groupId>
  16.           <artifactId>*</artifactId>
  17.         </exclusion>
  18.         <exclusion>
  19.           <groupId>org.pentaho</groupId>
  20.           <artifactId>*</artifactId>
  21.         </exclusion>
  22.       </exclusions>
  23.      <!-- 插入内容1 end -->  
  24.     </dependency>
  25.    
  26.     <dependency>
  27.       <groupId>${hive.groupid}</groupId>
  28.       <artifactId>hive-service-rpc</artifactId>
  29.       <version>${hive.version}</version>
  30.       <scope>${spark.bundle.hive.scope}</scope>
  31.     </dependency>
  32.    
  33.     <dependency>
  34.       <groupId>${hive.groupid}</groupId>
  35.       <artifactId>hive-jdbc</artifactId>
  36.       <version>${hive.version}</version>
  37.       <scope>${spark.bundle.hive.scope}</scope>
  38.       <!-- 这里插入下面内容2 start -->
  39.       <exclusions>
  40.         <exclusion>
  41.           <groupId>javax.servlet</groupId>
  42.           <artifactId>*</artifactId>
  43.         </exclusion>
  44.         <exclusion>
  45.           <groupId>javax.servlet.jsp</groupId>
  46.           <artifactId>*</artifactId>
  47.         </exclusion>
  48.         <exclusion>
  49.           <groupId>org.eclipse.jetty</groupId>
  50.           <artifactId>*</artifactId>
  51.         </exclusion>
  52.       </exclusions>
  53.       <!-- 插入内容2 end -->
  54.     </dependency>
  55.    
  56.     <dependency>
  57.       <groupId>${hive.groupid}</groupId>
  58.       <artifactId>hive-metastore</artifactId>
  59.       <version>${hive.version}</version>
  60.       <scope>${spark.bundle.hive.scope}</scope>
  61.       <!-- 这里插入下面内容3 start -->
  62.       <exclusions>
  63.         <exclusion>
  64.           <groupId>javax.servlet</groupId>
  65.           <artifactId>*</artifactId>
  66.         </exclusion>
  67.         <exclusion>
  68.           <groupId>org.datanucleus</groupId>
  69.           <artifactId>datanucleus-core</artifactId>
  70.         </exclusion>
  71.         <exclusion>
  72.           <groupId>javax.servlet.jsp</groupId>
  73.           <artifactId>*</artifactId>
  74.         </exclusion>
  75.         <exclusion>
  76.           <artifactId>guava</artifactId>
  77.           <groupId>com.google.guava</groupId>
  78.         </exclusion>
  79.       </exclusions>
  80.       <!-- 插入内容3 end -->
  81.     </dependency>
  82.    
  83.     <dependency>
  84.       <groupId>${hive.groupid}</groupId>
  85.       <artifactId>hive-common</artifactId>
  86.       <version>${hive.version}</version>
  87.       <scope>${spark.bundle.hive.scope}</scope>
  88.       <!-- 这里插入下面内容4 start -->
  89.       <exclusions>
  90.         <exclusion>
  91.           <groupId>org.eclipse.jetty.orbit</groupId>
  92.           <artifactId>javax.servlet</artifactId>
  93.         </exclusion>
  94.         <exclusion>
  95.           <groupId>org.eclipse.jetty</groupId>
  96.           <artifactId>*</artifactId>
  97.         </exclusion>
  98.       </exclusions>
  99.       <!-- 插入内容4 end -->
  100.         </dependency>
  101.        
  102.     <!-- 增加hudi配置版本的jetty 这里插入下面内容5 start -->
  103.     <dependency>
  104.       <groupId>org.eclipse.jetty</groupId>
  105.       <artifactId>jetty-server</artifactId>
  106.       <version>${jetty.version}</version>
  107.     </dependency>
  108.    
  109.     <dependency>
  110.       <groupId>org.eclipse.jetty</groupId>
  111.       <artifactId>jetty-util</artifactId>
  112.       <version>${jetty.version}</version>
  113.     </dependency>
  114.    
  115.     <dependency>
  116.       <groupId>org.eclipse.jetty</groupId>
  117.       <artifactId>jetty-webapp</artifactId>
  118.       <version>${jetty.version}</version>
  119.     </dependency>
  120.    
  121.     <dependency>
  122.       <groupId>org.eclipse.jetty</groupId>
  123.       <artifactId>jetty-http</artifactId>
  124.       <version>${jetty.version}</version>
  125.     </dependency>
  126.     <!-- 插入内容5 end -->
复制代码
4）、将packaging/hudi-utilities-bundle/pom.xml替换（比赛有给直接替换就行，没给就自己设置）

替换为这个
 hudi-utilities-bundle/pom.xml
https://gitcode.com/xfcloud/BIgdataA/blob/main/hudi/hudi-utilities-bundle/pom.xml
或者手动修改
  1. [root@master ~]# vi /opt/module/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml
复制代码
插入以下内容，标注插入的地方插入相应的内容
  1.   <!-- Hoodie -->
  2.     <dependency>
  3.       <groupId>org.apache.hudi</groupId>
  4.       <artifactId>hudi-common</artifactId>
  5.       <version>${project.version}</version>
  6.       <!-- 这里插入下面内容1 start -->
  7.       <exclusions>
  8.         <exclusion>
  9.           <groupId>org.eclipse.jetty</groupId>
  10.           <artifactId>*</artifactId>
  11.         </exclusion>
  12.       </exclusions>
  13.       <!-- 插入内容1 end -->
  14.     </dependency>
  16.     <dependency>
  17.       <groupId>org.apache.hudi</groupId>
  18.       <artifactId>hudi-client-common</artifactId>
  19.       <version>${project.version}</version>
  20.       <!-- 这里插入下面内容2 start -->
  21.       <exclusions>
  22.         <exclusion>
  23.           <groupId>org.eclipse.jetty</groupId>
  24.           <artifactId>*</artifactId>
  25.         </exclusion>
  26.       </exclusions>
  27.       <!-- 插入内容2 end -->
  28.     </dependency>
  30. <!-- Hive -->
  31.     <dependency>
  32.       <groupId>${hive.groupid}</groupId>
  33.       <artifactId>hive-service</artifactId>
  34.       <version>${hive.version}</version>
  35.       <scope>${utilities.bundle.hive.scope}</scope>
  36.       <!-- 这里插入下面内容3 start -->
  37.       <exclusions>
  38.        <exclusion>
  39.           <artifactId>servlet-api</artifactId>
  40.           <groupId>javax.servlet</groupId>
  41.         </exclusion>
  42.         <exclusion>
  43.           <artifactId>guava</artifactId>
  44.           <groupId>com.google.guava</groupId>
  45.         </exclusion>
  46.         <exclusion>
  47.           <groupId>org.eclipse.jetty</groupId>
  48.           <artifactId>*</artifactId>
  49.         </exclusion>
  50.         <exclusion>
  51.           <groupId>org.pentaho</groupId>
  52.           <artifactId>*</artifactId>
  53.         </exclusion>
  54.       </exclusions>
  55.       <!-- 插入内容3 end -->
  56.     </dependency>
  58.     <dependency>
  59.       <groupId>${hive.groupid}</groupId>
  60.       <artifactId>hive-service-rpc</artifactId>
  61.       <version>${hive.version}</version>
  62.       <scope>${utilities.bundle.hive.scope}</scope>
  63.     </dependency>
  65.     <dependency>
  66.       <groupId>${hive.groupid}</groupId>
  67.       <artifactId>hive-jdbc</artifactId>
  68.       <version>${hive.version}</version>
  69.       <scope>${utilities.bundle.hive.scope}</scope>
  70.       <!-- 这里插入下面内容4 start -->
  71.       <exclusions>
  72.         <exclusion>
  73.           <groupId>javax.servlet</groupId>
  74.           <artifactId>*</artifactId>
  75.         </exclusion>
  76.         <exclusion>
  77.           <groupId>javax.servlet.jsp</groupId>
  78.           <artifactId>*</artifactId>
  79.         </exclusion>
  80.         <exclusion>
  81.           <groupId>org.eclipse.jetty</groupId>
  82.           <artifactId>*</artifactId>
  83.         </exclusion>
  84.       </exclusions>
  85.       <!-- 插入内容4 end -->
  86.     </dependency>
  88.     <dependency>
  89.       <groupId>${hive.groupid}</groupId>
  90.       <artifactId>hive-metastore</artifactId>
  91.       <version>${hive.version}</version>
  92.       <scope>${utilities.bundle.hive.scope}</scope>
  93.       <!-- 这里插入下面内容5 start -->
  94.       <exclusions>
  95.         <exclusion>
  96.           <groupId>javax.servlet</groupId>
  97.           <artifactId>*</artifactId>
  98.         </exclusion>
  99.         <exclusion>
  100.           <groupId>org.datanucleus</groupId>
  101.           <artifactId>datanucleus-core</artifactId>
  102.         </exclusion>
  103.         <exclusion>
  104.           <groupId>javax.servlet.jsp</groupId>
  105.           <artifactId>*</artifactId>
  106.         </exclusion>
  107.         <exclusion>
  108.           <artifactId>guava</artifactId>
  109.           <groupId>com.google.guava</groupId>
  110.         </exclusion>
  111.       </exclusions>
  112.       <!-- 插入内容5 end -->
  113.     </dependency>
  115.     <dependency>
  116.       <groupId>${hive.groupid}</groupId>
  117.       <artifactId>hive-common</artifactId>
  118.       <version>${hive.version}</version>
  119.       <scope>${utilities.bundle.hive.scope}</scope>
  120.       <!-- 这里插入下面内容6 start -->
  121.       <exclusions>
  122.         <exclusion>
  123.           <groupId>org.eclipse.jetty.orbit</groupId>
  124.           <artifactId>javax.servlet</artifactId>
  125.         </exclusion>
  126.         <exclusion>
  127.           <groupId>org.eclipse.jetty</groupId>
  128.           <artifactId>*</artifactId>
  129.         </exclusion>
  130.       </exclusions>
  131.       <!-- 插入内容6 end -->
  132. </dependency>
  134.     <!-- 增加hudi配置版本的jetty 这里插入下面内容7 start -->
  135.     <dependency>
  136.       <groupId>org.eclipse.jetty</groupId>
  137.       <artifactId>jetty-server</artifactId>
  138.       <version>${jetty.version}</version>
  139.     </dependency>
  140.    
  141.     <dependency>
  142.       <groupId>org.eclipse.jetty</groupId>
  143.       <artifactId>jetty-util</artifactId>
  144.       <version>${jetty.version}</version>
  145.     </dependency>
  147.     <dependency>
  148.       <groupId>org.eclipse.jetty</groupId>
  149.       <artifactId>jetty-webapp</artifactId>
  150.       <version>${jetty.version}</version>
  151.     </dependency>
  153.     <dependency>
  154.       <groupId>org.eclipse.jetty</groupId>
  155.       <artifactId>jetty-http</artifactId>
  156.       <version>${jetty.version}</version>
  157.     </dependency>
  158. <!-- 插入内容7 end -->
复制代码
第二步：编译完成后与Spark集成，集成后使用spark-shell操作Hudi

  1. 进入hudi项目目录
  2. cd /opt/module/hudi
  3. 编译构建
  4. mvn clean package -DskipTests -Dspark3.1 -Dscala-2.12
复制代码


编译完看下能不能进hudi-cli
  1. /opt/module/hudi-0.12.0/hudi-cli/hudi-cli.sh
复制代码

与spark集成
将上述编译好的安装包拷贝到spark下的jars目录中
  1. cp /opt/module/hudi-0.12.0/packaging/hudi-spark-bundle/target/hudi-spark3.1-bundle_2.12-0.12.0.jar /opt/module/spark/jars/
复制代码

第三步：将spark-shell启动使用spark-shell运行下面给到的案例

启动spark-shell
  1. spark-shell \
  2.   --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
  3.   --conf 'spark.sql.hive.convertMetastoreParquet=false'
复制代码
 将案例复制到下令行运行

  1. （提示：编译需要替换以下内容：
  2. 1.将父模块pom.xml替换；
  3. 2.hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java替换；
  4. 3.将packaging/hudi-spark-bundle/pom.xml替换；
  5. 4.将packaging/hudi-utilities-bundle/pom.xml替换）
  8. import org.apache.hudi.QuickstartUtils._
  9. import scala.collection.JavaConversions._
  10. import org.apache.spark.sql.SaveMode._
  11. import org.apache.hudi.DataSourceReadOptions._
  12. import org.apache.hudi.DataSourceWriteOptions._
  13. import org.apache.hudi.config.HoodieWriteConfig._
  14. import org.apache.hudi.common.model.HoodieRecord
  16. val tableName = "hudi_trips_cow"
  17. val basePath = "file:///tmp/hudi_trips_cow"
  18. val dataGen = new DataGenerator
  20. val inserts = convertToStringList(dataGen.generateInserts(10))
  21. val df = spark.read.json(spark.sparkContext.parallelize(inserts, 2))
  22. df.write.format("hudi").
  23.   options(getQuickstartWriteConfigs).
  24.   option(PRECOMBINE_FIELD_OPT_KEY, "ts").
  25.   option(RECORDKEY_FIELD_OPT_KEY, "uuid").
  26.   option(PARTITIONPATH_FIELD_OPT_KEY, "partitionpath").
  27.   option(TABLE_NAME, tableName).
  28.   mode(Overwrite).
  29.   save(basePath)
  31. val tripsSnapshotDF = spark.read.format("hudi").load(basePath + "/*/*/*/*")
  32. tripsSnapshotDF.createOrReplaceTempView("hudi_trips_snapshot")
  33. spark.sql("select fare, begin_lon, begin_lat, ts from  hudi_trips_snapshot where fare > 20.0").show()
复制代码
END

一键三连是我写文章的动力！
声明：此文章为个人学习笔记，如文章有问题欢迎留言探讨，也希望您的指正 ！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

宁睿

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表