hadoop编译

预备环境

   服务器：Centos9（能连接外网，使用root用户）
各类安装包：
apache-ant-1.10.15-bin.tar.gz
apache-maven-3.3.9-bin.tar.gz
cmake-3.13.3.tar.gz
hadoop-3.1.3-src.tar.gz
jdk-8u431-linux-x64.tar.gz
protobuf-2.5.0.tar.gz（序列化框架）
  安装包下载：

链接: https://pan.baidu.com/s/19ewOIUD3pFHFu_fSZvV5Tw 提取码: 9wd5
安装干系依赖

1. # 安装gcc make
2. yum install -y gcc* make
3. # 安装压缩工具
4. yum -y install snappy* bzip2* lzo* zlib* lz4* gzip*
5. # 安装一些基本工具
6. yum -y install openssl* svn ncurses* autoconf automake libtool
7. # 安装扩展源，才可安装zstd
8. yum -y install epel-release
9. # 安装zstd
10. yum -y install zstd

复制代码

指定所有安装包目录

1. mkdir -p /export/server/        #软件安装路径

复制代码

将干系安装包放到此路径下，然后分别进行解压

1. tar -zxvf <压缩包名>

复制代码

安装JDK

此处建议使用jdk1.8，当前不支持jdk17进行编译
配置环境变量
   vim /etc/profile

1. #JAVA_HOME
2. export JAVA_HOME=/export/server/jdk1.8.0_431
3. export PATH=$PATH:$JAVA_HOME/bin
4. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

复制代码

刷新JDK环境变量
   source /etc/profile
  验证JDK是否安装乐成

安装maven

此处建议使用3.3.9版本，笔者试过使用3.9.9出现报错

1. hadoop-common: make failed with error code 2

复制代码

配置maven的环境变量
   vim /etc/profile

1. #MAVEN_HOME
2. export MAVEN_HOME=/export/server/apache-maven-3.3.9
3. export PATH=$PATH:$MAVEN_HOME/bin

复制代码

刷新MAVEN环境变量
   source /etc/profile
  修改maven镜像地址
   vim conf/settings.xml
  在mirrors标签下面添加

1. <mirror>
2.     <id>nexus-aliyun</id>
3.     <mirrorOf>central</mirrorOf>
4.     <name>Nexus aliyun</name>
5.     <url>http://maven.aliyun.com/nexus/content/groups/public</url>
6. </mirror>

复制代码

验证MAVEN是否安装乐成
   mvn -v
  

手动安装cmake

在解压后的cmake目录下，实验

   ./bootstrap
  此处等待时间较长

实验安装
   make && make install
  验证安装是否乐成
   cmake --version
  

安装protobuf

进入解压后的protobuf目录，实验

   ./configure
make && make install
  配置环境变量

   vim /etc/profile

1. #PROTOBUF_HOME
2. export PROTOBUF_HOME=/export/server/protobuf-2.5.0
3. export PATH=$PATH:$PROTOBUF_HOME/bin

复制代码

刷新protobuf环境变量
   source /etc/profile
  验证protobuf是否安装乐成
   protoc --version
  

安装ant

配置ant的环境变量
   vim /etc/profile

1. #ANT_HOME
2. export ANT_HOME=/export/server/apache-ant-1.10.15
3. export PATH=$PATH:$ANT_HOME/bin

复制代码

刷新ant环境变量
   source /etc/profile
  验证ant是否安装乐成
   ant -version
  

-----------------------------------安装包的配置工作完成------------------------------------
开始编译源码

进入到hadoop-3.1.3-src目录下，实验

   mvn clean package -DskipTests -Pdist,native -Dtar
  此处需要等待时间略长。
运行乐成后，hadoop的包在/export/server/hadoop-3.1.3-src/hadoop-dist/target下


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。