【hadoop源码研究-编译】MacBook pro编译hadoop3.4.0版本的源码 ...

配置

电脑配置

近来在研究hadoop，首先就应该编译捣鼓情况开始，我利用电脑配置是

1. Hardware:
3.     Hardware Overview:
5.       Model Name: MacBook Pro
6.       Model Identifier: MacBookPro18,3
7.       Model Number: FKGR3CH/A
8.       Chip: Apple M1 Pro
9.       Total Number of Cores: 8 (6 performance and 2 efficiency)
10.       Memory: 16 GB
11.       System Firmware Version: 10151.121.1
12.       OS Loader Version: 10151.121.1
13.       Serial Number (system): DQYNHCVQVY
14.       Hardware UUID: 7B95CA03-07CE-5BC5-A4CC-F0BE52AFE028
15.       Provisioning UDID: 00006000-001C214E0CE2801E
16.       Activation Lock Status: Enabled

复制代码

maven、jdk、protobuf配置

1. ~ % mvn -version
2. Apache Maven 3.9.1 (2e178502fcdbffc201671fb2537d0cb4b4cc58f8)
3. Maven home: ~/Documents/maven/apache-maven-3.9.1
4. Java version: 1.8.0_411, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home/jre
5. Default locale: zh_CN, platform encoding: UTF-8
6. OS name: "mac os x", version: "14.5", arch: "aarch64", family: "mac"
8. ~ % java -version
9. java version "1.8.0_411"
10. Java(TM) SE Runtime Environment (build 1.8.0_411-b09)
11. Java HotSpot(TM) 64-Bit Server VM (build 25.411-b09, mixed mode)
13. ~ % protoc --version
14. libprotoc 27.3

复制代码

安装protobuf

1、去githup下载对应系统的包，我下载的是编译好的arm版
2、unzip 命令解压
3、加入情况变量

1. #vi ~/.bash_profile
2. export PROTOBUF=/Library/software/protobuf
3. export PATH=$PROTOBUF/bin:$PATH

复制代码

别忘记，source ~/.bash_profile
4、查察版本

1. ~ % protoc --version
2. libprotoc 27.3

复制代码

CMake

• CMake 是一个用于构建、测试和打包软件的跨平台自动化工具。
  
• 在编译 Hadoop 时,CMake 被用于生成构建 Hadoop 所需的 Makefile 文件。
  

1. brew install cmake

复制代码

openssl

• OpenSSL 是一个开源的、尺度的加密协议库。
  
• Hadoop 需要利用 OpenSSL 库来提供加密和安全特性,如 SSL/TLS 支持。
  

1. brew install openssl

复制代码

snappy

• Snappy 是一个开源的压缩/解压缩库。
  
• Hadoop 利用 Snappy 来压缩和解压缩数据,以提高数据传输和存储的效率。
  

1. brew install snappy

复制代码

zlib

• zlib 是一个通用的数据压缩库。
  
• Hadoop 利用 zlib 来压缩和解压缩数据,提高存储效率。
  

1. brew install zlib

复制代码

ant

ant 一个将软件编译、测试、部署等步骤接洽在一起加以自动化的一个工具，大多用于Java情况中的软件开发。 　apache-ant-1.9.9-bin.tar.bz2

1. brew install ant

复制代码

实行编译命令

尽量利用下面命令实行，缺点是会实行部分测试代码比力慢，但是在打tar的时候可以不报错。

1. mvn package -Pdist  -Dmaven.test.skip=true -DskipTests -Dtar

复制代码

该命令可以在编译时完全跳过测试部分，但是在实行打tar包时大概会报错（参考报错3），需要修改xml文件，去除包罗的测试jar包

1. mvn clean package -Pdist  -Dmaven.test.skip=true -DskipTests -Dtar

复制代码

mvn clean package -Pdist -Dmaven.test.skip=true -DskipTests -

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。