Win10 IDEA连接假造机中的Hadoop（HDFS）

获取假造机的ip

假造机终端输入

1. ip a

复制代码

关闭假造机防火墙

1. sudo ufw disable

复制代码

修改Hadoop的core-site.xml文件

将localhost修改为假造机局域网IP

1. # 位置可能不一样，和Hadoop安装位置有关
2. cd /usr/local/hadoop/etc/hadoop
3. vim core-site.xml

复制代码

重启Hadoop

1. cd /usr/local/hadoop/ #目录可能不一样，修改成自己的目录
2. ./sbin/stop-dfs.sh # 关闭hadoop
3. ./sbin/start-dfs.sh #启动hadoop
4. jps # 判断是否启动成功

复制代码

IDEA 连接

创建Maven项目

IDEA自带Maven，假如需要自己安装Maven可以参考Maven安装教程
创建项目，选择Maven，模板选择第一个maven-archetype-archetype

添加依赖（pom.xml）

记得修改自己hadoop的版本，我的是3.3.5
设置好后Reload一下

1.   <properties>
2.     <hadoop.version>3.3.5</hadoop.version>
3.   </properties>
4.   <dependencies>
5.     <dependency>
6.       <groupId>org.apache.hadoop</groupId>
7.       <artifactId>hadoop-common</artifactId>
8.       <version>${hadoop.version}</version>
9.     </dependency>
11.     <dependency>
12.       <groupId>org.apache.hadoop</groupId>
13.       <artifactId>hadoop-hdfs</artifactId>
14.       <version>${hadoop.version}</version>
15.     </dependency>
17.     <dependency>
18.       <groupId>org.apache.hadoop</groupId>
19.       <artifactId>hadoop-client</artifactId>
20.       <version>${hadoop.version}</version>
21.     </dependency>
22.   </dependencies>

复制代码

设置好后Reload一下 ，然后等下载好

创建Java文件并运行

出现错误请先查抄Hadoop是否重启

1. import org.apache.hadoop.conf.Configuration;
2. import org.apache.hadoop.fs.*;
4. import java.io.IOException;
6. public class Test01 {
7.     public static void main(String[] args) throws IOException {
8.         Configuration conf = new Configuration();
9.         //  设置用户名（一定要，不然默认用户名是win的用户名）
10.         System.setProperty("HADOOP_USER_NAME","hadoop");
11.         //         IP地址修改成虚拟机的ip
12.         conf.set("fs.defaultFS","hdfs://192.168.111.131:9000");
13.         conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
14.         FileSystem fs = FileSystem.get(conf);
16.         RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("/"), true);
17.         while (files.hasNext()) {
18.             FileStatus fileStatus = files.next();
19.             System.out.println(fileStatus.getPath().toString());
20.         }
21.         fs.close(); //关闭hdfs
22.     }
23. }

复制代码

端口转发

完成到这里已经可以用啦，不过可能不太方便
可以设置将win10的端口转发
实如今代码中直接访问localhost
创建test.bat文件后输入以下代码
将IP修改成假造机的IP
双击运行

1. @REM 设置IP
2. SET BigDataLANIP=192.168.111.131
5. @REM 设置命令以管理员身份运行
6. %1 start "" mshta vbscript:CreateObject("Shell.Application").ShellExecute("cmd.exe","/c %~s0 ::","","runas",1)(window.close)&&exit
7. @REM  清空所有转发规则
8. netsh interface portproxy reset
11. @REM 转发9000
12. netsh interface portproxy add v4tov4 listenport=9000 connectport=9000 connectaddress=%BigDataLANIP%
13. @REM 转发9870（HDFS的web管理界面）
14. netsh interface portproxy add v4tov4 listenport=9870 connectport=9870 connectaddress=%BigDataLANIP%
15. echo "succeed"
16. timeout /t 5 /nobreak >nul

复制代码

简朴利用

1. import org.apache.hadoop.conf.Configuration;
2. import org.apache.hadoop.fs.*;
5. import java.io.BufferedReader;
6. import java.io.IOException;
7. import java.io.InputStreamReader;
10. public class Test02 {
11.     public static void main(String[] args) throws IOException {
12.         Configuration conf = new Configuration();
13. //        设置用户名（一定要，不然默认用户名是win的用户名）
14.         System.setProperty("HADOOP_USER_NAME","hadoop");
15.         conf.set("fs.defaultFS","hdfs://localhost:9000");
16.         conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
17. //        列出根目录下的所有文件和文件夹
18.         FileSystem fs = FileSystem.get(conf);
19.         Path file = new Path("/");
20.         FileStatus[] fileStatuses = fs.listStatus(file);
21.         for (FileStatus fileStatus : fileStatuses){
22.             System.out.println(fileStatus.getPath());
23.         }
24. //        创建一个新的文件 test.txt 在HDFS的 /user/hadoop/test 目录下（如果目录不存在，则先创建目录）。
25.         Path dirPath = new Path("/user/hadoop/test");
26.         if(!fs.exists(dirPath)){
27.             fs.mkdirs(dirPath);
28.         }
29.         Path remotePath = new Path("/user/hadoop/test/test.txt");
30.         FSDataOutputStream outputStream = fs.create(remotePath);
31.         outputStream.close();
32. //        向 test.txt 文件中写入一段指定的文本内容（如“Hello, HDFS!”）。
33.         FSDataOutputStream outputStream2 = fs.create(remotePath);
34.         String s = "Hello, HDFS!";
35.         outputStream2.write(s.getBytes());
36.         outputStream2.close();
37. //       读取 test.txt 文件的内容，并打印到控制台。
38.         FSDataInputStream inputStream = fs.open(remotePath);
39.         BufferedReader d = new BufferedReader(new InputStreamReader(inputStream));
40.         String line = null;
41.         while ((line = d.readLine()) != null)
42.             System.out.println(line);
43. //      关闭与HDFS的连接。
44.         fs.close();
45.     }
46. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。