Hadoop-IDEA开发平台搭建
1.安装下载Hadoop文件1）hadoop-3.3.5 将下载的文件保存到英文路径下，名称肯定要短。否则轻易出题目；
2）解压下载下来的文件，配置环境变量
3）我的电脑-属性-高级设置-环境变量
https://img-blog.csdnimg.cn/direct/ac5ee100998846a7a8cf23fa09abb954.png
4.具体配置文件如下：
HADOOP_HOME： D:\ProgramFiles\hadoop-3.3.5系统 path: %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 2.安装windows环境依赖
必要有windows客户端依赖资料路径下的依赖文件(已上传到平台)，拷贝 winutils.exe 到hadoop的bin文件夹： ~\hadoop-3.3.5\bin；再把 hadoop.dll 拷贝到 C:\Windows\System32。
https://img-blog.csdnimg.cn/direct/269bc69f873842d0b1f3ec09b6d5f67e.png
6)验证Hadoop环境变量是否正常。
鼠标双击运行：winutils.exe，若没有报错，一闪而过，就可以了。（假如报如下错误：找不到MSVCR120.dll。说明缺少微软运行库（正版系统往往有这个题目）。再资料包内里有对应的微软运行库安装包双击安装即可。）
3.安装JDK-1.8.371和IDEA 2023
1）注册oracle账号后，下载地址： https://www.oracle.com/java/technologies/downloads/#java8-windows
2）安装的时候，可以只安装 jdk1.8，不安装独立的jre。若电脑上有多个JDK版本，必要在配置环境变量的时候警惕。
https://img-blog.csdnimg.cn/direct/8cf99495bfce418c9e655938b4e67700.png
3）验证java 是否安装乐成：cmd - 中输入名： java -version
https://img-blog.csdnimg.cn/direct/d5b6bbffd70a41369dd4352a559bd493.png
4） 下载好IDEA2023，可从官网下载安装。（IntelliJ IDEA – 领先的 Java 和 Kotlin IDE）
插件必要下载下，别的激活可拜见-IDEA PyCharm WebStorm PhpStorm Jetbrains全家桶最新破解激活码 - 爱激活网
4.打开工程目录-创建项目工程
https://img-blog.csdnimg.cn/direct/efa5a15f95b346fe843f409cc21ae492.png
https://img-blog.csdnimg.cn/direct/ffc9a20d59bf4b2a9393c5f55118e34b.png
按照上述的内容填写后，建立Maven 工程。
5.修改配置文件中的依赖
1）添加junit插件 - test 插件 2）添加org.slf4j --日志
pom.xml文件中的依赖项如下：
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.3.5</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<!-- 肯定要把下面的这个scope解释掉-->
<!-- <scope>test</scope>-->
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.36</version>
</dependency>
</dependencies>
添加配置文件后，在页面又上角有个M图标，可以点击下，会自动革新，之后必要从Maven堆栈依赖 dependency；
https://img-blog.csdnimg.cn/direct/9429e416f899418ab62169c73f6b49e6.png
https://img-blog.csdnimg.cn/direct/f7b9674136f6459f8c5e44422af4cedf.png
肯定要和服务器上安装的版本同等：
https://img-blog.csdnimg.cn/direct/7889bc2a80ca481daa32ab701bb6fcae.png
6.为工程配置日志文件
在 IDEA中创建一个Maven工程 Ktest，并导入相应的依赖坐标+日志添加
在项目标src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
6.在包下面新建一个类名
https://img-blog.csdnimg.cn/direct/b6db10cf2e0d499696e42fa55824a5db.png
7.在服务器上尝试创建文件夹
编写代码-在HDFS文件系统中写入一个 `/yiji/ercengmulu` 的文件.
-------------------------------------------------------------------------------------
package org.example;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class Testt{
@Test //引入当时添加的Junit
public void testMkdirs() throws URISyntaxException,IOException,InterruptedException{
//创建连接集群的Name Node地址
URI uri = new URI("hdfs://hadoop102:8020");
//创建配置项
Configuration conf = new Configuration();
//指定用户
String user = "antares";
//获取客户端对象
FileSystem fs = FileSystem.get(uri,conf,user);
fs.mkdirs(new Path("/yiji/ercengmulu"));
fs.close();
}
}
8. 打开服务器上的摆设的服务
hadoop102:8020 --- 必要在服务器端打开Hadoop，之后才能运行刚刚创建的类。
测试通过。
https://img-blog.csdnimg.cn/direct/1e45895eb530438e8d9214d31ce43d8d.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]