Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件

1）hadoop-3.3.5 将下载的文件保存到英文路径下，名称肯定要短。否则轻易出题目；
2）解压下载下来的文件，配置环境变量
3）我的电脑-属性-高级设置-环境变量

4.具体配置文件如下：

HADOOP_HOME：	D:\ProgramFiles\hadoop-3.3.5
系统 path:	%HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin

2.安装windows环境依赖

必要有windows客户端依赖资料路径下的依赖文件(已上传到平台)，拷贝 winutils.exe 到hadoop的bin文件夹： ~\hadoop-3.3.5\bin；再把 hadoop.dll 拷贝到 C:\Windows\System32。

6)验证Hadoop环境变量是否正常。
鼠标双击运行：winutils.exe，若没有报错，一闪而过，就可以了。（假如报如下错误：找不到MSVCR120.dll。说明缺少微软运行库（正版系统往往有这个题目）。再资料包内里有对应的微软运行库安装包双击安装即可。）
3.安装JDK-1.8.371和IDEA 2023

1）注册oracle账号后，下载地址： https://www.oracle.com/java/technologies/downloads/#java8-windows

2）安装的时候，可以只安装 jdk1.8，不安装独立的jre。若电脑上有多个JDK版本，必要在配置环境变量的时候警惕。

3）验证java 是否安装乐成：cmd - 中输入名： java -version

4） 下载好IDEA2023，可从官网下载安装。（IntelliJ IDEA – 领先的 Java 和 Kotlin IDE）
插件必要下载下，别的激活可拜见-IDEA PyCharm WebStorm PhpStorm Jetbrains全家桶最新破解激活码 - 爱激活网
4.打开工程目录-创建项目工程

按照上述的内容填写后，建立Maven 工程。

5.修改配置文件中的依赖

1）添加junit插件 - test 插件 2）添加org.slf4j --日志

   

pom.xml文件中的依赖项如下：

  

 <dependencies>

  

    <dependency>

  

      <groupId>org.apache.hadoop</groupId>

  

      <artifactId>hadoop-client</artifactId>

  

      <version>3.3.5</version>

  

    </dependency>

  

    <dependency>

  

      <groupId>junit</groupId>

  

      <artifactId>junit</artifactId>

  

      <version>4.12</version>

  

<!--      肯定要把下面的这个scope解释掉-->

  

<!--      <scope>test</scope>-->

  

    </dependency>

  

    <dependency>

  

      <groupId>org.slf4j</groupId>

  

      <artifactId>slf4j-log4j12</artifactId>

  

      <version>1.7.36</version>

  

    </dependency>

  

  </dependencies>

  

添加配置文件后，在页面又上角有个M图标，可以点击下，会自动革新，之后必要从Maven堆栈依赖 dependency；

 肯定要和服务器上安装的版本同等：

6.为工程配置日志文件

在 IDEA中创建一个Maven工程  Ktest，并导入相应的依赖坐标+日志添加

在项目标src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

   

log4j.rootLogger=INFO, stdout 

  

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

  

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

  

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 

  

log4j.appender.logfile=org.apache.log4j.FileAppender 

  

log4j.appender.logfile.File=target/spring.log 

  

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 

  

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

  6.在包下面新建一个类名

7.在服务器上尝试创建文件夹

   

编写代码-在HDFS文件系统中写入一个 `/yiji/ercengmulu` 的文件.

  

-------------------------------------------------------------------------------------

1. package org.example;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.fs.FileSystem;
5. import org.apache.hadoop.fs.Path;
6. import org.junit.Test;
8. import java.io.IOException;
9. import java.net.URI;
10. import java.net.URISyntaxException;
12. public class Testt{
14.     @Test //引入当时添加的Junit
15.     public void testMkdirs() throws URISyntaxException,IOException,InterruptedException{
16.         //创建连接集群的Name Node地址
17.         URI uri     = new URI("hdfs://hadoop102:8020");
18.         //创建配置项
19.         Configuration conf = new Configuration();
20.          //指定用户
21.         String user = "antares";
22.         //获取客户端对象
23.         FileSystem fs = FileSystem.get(uri,conf,user);
25.         fs.mkdirs(new Path("/yiji/ercengmulu"));
26.         fs.close();
28.     }
29. }

复制代码

8. 打开服务器上的摆设的服务

hadoop102:8020 --- 必要在服务器端打开Hadoop，之后才能运行刚刚创建的类。
测试通过。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。