hadoop编译
预备环境服务器：Centos9（能连接外网，使用root用户）
各类安装包：
apache-ant-1.10.15-bin.tar.gz
apache-maven-3.3.9-bin.tar.gz
cmake-3.13.3.tar.gz
hadoop-3.1.3-src.tar.gz
jdk-8u431-linux-x64.tar.gz
protobuf-2.5.0.tar.gz（序列化框架）
安装包下载：
链接: https://pan.baidu.com/s/19ewOIUD3pFHFu_fSZvV5Tw 提取码: 9wd5
安装干系依赖
# 安装gcc make
yum install -y gcc* make
# 安装压缩工具
yum -y install snappy* bzip2* lzo* zlib* lz4* gzip*
# 安装一些基本工具
yum -y install openssl* svn ncurses* autoconf automake libtool
# 安装扩展源，才可安装zstd
yum -y install epel-release
# 安装zstd
yum -y install zstd
指定所有安装包目录
mkdir -p /export/server/ #软件安装路径
将干系安装包放到此路径下，然后分别进行解压
tar -zxvf <压缩包名>
安装JDK
此处建议使用jdk1.8，当前不支持jdk17进行编译
配置环境变量
vim /etc/profile
#JAVA_HOME
export JAVA_HOME=/export/server/jdk1.8.0_431
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
刷新JDK环境变量
source /etc/profile
验证JDK是否安装乐成
https://i-blog.csdnimg.cn/direct/0ed506cb94ab40d68babcd209fee93fc.png
安装maven
此处建议使用3.3.9版本，笔者试过使用3.9.9出现报错
hadoop-common: make failed with error code 2
配置maven的环境变量
vim /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/export/server/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
刷新MAVEN环境变量
source /etc/profile
修改maven镜像地址
vim conf/settings.xml
在mirrors标签下面添加
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
验证MAVEN是否安装乐成
mvn -v
https://i-blog.csdnimg.cn/direct/d83256557e594b1c9a6f72178e0032e9.png
手动安装cmake
在解压后的cmake目录下，实验
./bootstrap
此处等待时间较长
实验安装
make && make install
验证安装是否乐成
cmake --version
https://i-blog.csdnimg.cn/direct/ef2227d21fd145ac808d2aac70e68891.png
安装protobuf
进入解压后的protobuf目录，实验
./configure
make && make install
配置环境变量
vim /etc/profile
#PROTOBUF_HOME
export PROTOBUF_HOME=/export/server/protobuf-2.5.0
export PATH=$PATH:$PROTOBUF_HOME/bin
刷新protobuf环境变量
source /etc/profile
验证protobuf是否安装乐成
protoc --version
https://i-blog.csdnimg.cn/direct/2c44ecb7dcb14ee0804fae8242d64ee0.png
安装ant
配置ant的环境变量
vim /etc/profile
#ANT_HOME
export ANT_HOME=/export/server/apache-ant-1.10.15
export PATH=$PATH:$ANT_HOME/bin
刷新ant环境变量
source /etc/profile
验证ant是否安装乐成
ant -version
https://i-blog.csdnimg.cn/direct/fc13c07f1c5d4c95a1349f989588b022.png
-----------------------------------安装包的配置工作完成------------------------------------
开始编译源码
进入到hadoop-3.1.3-src目录下，实验
mvn clean package -DskipTests -Pdist,native -Dtar
此处需要等待时间略长。
运行乐成后，hadoop的包在/export/server/hadoop-3.1.3-src/hadoop-dist/target下
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]