Hadoop环境

万有斥力  金牌会员 | 2024-11-5 20:46:24 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 877|帖子 877|积分 2631

一、连接比赛节点

1.通过工具连接到ip主机

用户hadoop
暗码qweQWE123!@#
使用root登录，或者切换到root
1.1固定IP

①检察网络设置

  1. cd /etc/sysconfig/network-scripts/
复制代码

②编辑

  1. vi ifcfg-ens33
复制代码
③修改及新增

  1. BOOTPROTO=static
  2. ONBOOT="yes"
  3. IPADDR="192.168.200.131"
  4. NETMASK="255.255.255.0"
  5. GATEWAY="192.168.200.2"
  6. DNS1="192.168.200.2"
复制代码
④重启网卡

  1. systemctl restart network
复制代码
2.修改hosts

2.1检察本机名

  1. cat /etc/hosts
复制代码

2.2修改域名和IP地址的映射文件

  1. vi /etc/hosts
复制代码
2.3内容


2.4修改主机名

  1. hostnamectl set-hostname Hadoop
复制代码
3.重启

  1. reboot
复制代码
4.检察


5.ping比赛节点

  1. ping hadoop
复制代码

二、关闭防火墙

1.使用systemctl关闭(暂时)

  1. sudo systemctl stop filewalld
复制代码
2.检察防火墙状态

  1. sudo systemctl status filewalld
复制代码

3.使用service关闭(永世)

  1. sudo service filewalld stop
复制代码

三、设置时间同步

1.检察时间

  1. date
复制代码

2.安装ntpdate


  1. sudo yum -y install ntpdate
复制代码
3.更新yum源

3.1备份

  1. sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 3.3.2
复制代码
3.2下载

  1. sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
复制代码

3.3清空并天生缓存

  1. sudo yum clean all
复制代码

  1. sudo yum makecache
复制代码

4.安装utpdate


  1. sudo yum -y install ntpdate
复制代码
5.同步时间

  1. sudo ntpdate
  2. -u pool.ntp.org
复制代码

四、安装软件

1.切入/usr/local

  1. #删除文件夹下文件
  2. sudo rm -rf  /usr/local
复制代码
2.安装jdk

2.1卸载原有的环境

①检察体系自带的OpenJDK相关文件

  1. rpm -qa | grep java
复制代码
②删除文件

  1. cd /usr/lib/jvm
  2. rm -rf /usr/lib/jvm
复制代码
③卸载

  1. yum -y remove java-1.7.0-openjdk*
复制代码

  1. yum -y remove java-1.8.0-openjdk*
复制代码

2.2安装jdk

①解压缩

  1. tar -zxvf jdk-8u171-linux-x64.tar.gz
复制代码
②设置环境变量

  1. sudo vi /etc/profile
复制代码
③内容

  1. #JAVA_HOME
  2. export JAVA_HOME=/usr/local/jdk1.8.0_171
  6. export PATH=$PATH:$JAVA_HOME/bin
复制代码
④让修改后的文件生效

  1. source /etc/profile
复制代码
⑤检察版本

  1. java -version
复制代码
3.安装hadoop

3.1解压缩

  1. tar -zxvf hadoop-2.9.2.tar.gz
复制代码
3.2hadoop环境变量

  1. sudo vi /etc/profile
复制代码
3.3内容

  1. ##HADOOP_HOME
  2. export HADOOP_HOME=/usr/local/hadoop-2.9.2
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export PATH=$PATH:$HADOOP_HOME/sbin
复制代码
3.4将修改后的文件生效

  1. source /etc/profile
复制代码
3.5检察版本

  1. hadoop version
复制代码

4.设置Hadoop集群

  1. #切换到hadoop配置目录下的hadoop
  2. cd /usr/local/hadoop-2.9.2/etc/hadoop/
复制代码
4.1编辑hadoop-env.sh

  1. vi hadoop-env.sh
复制代码
修改JAVA_HOME 路径
  1. export JAVA_HOME=/usr/local/jdk1.8.0_171
复制代码
4.2设置core-site.xml

  1. vi core-site.xml
复制代码
  ----在configuration里----
  1. <property>
  2.   <name>fs.defaultFS</name>
  3.   <value>hdfs://hadoop:9000</value>
  4. </property>
  5. <property>
  6.   <name>hadoop.tmp.dir</name>
  7.   <value>/usr/local/hadoop-2.9.2/data/tmp</value>
  8. </property>
  9. <property>
  10.   <name>dfs.http.address</name>
  11.   <value>0.0.0.0:50070</value>
  12. </property>
复制代码
4.3设置hdfs-site.xml

  1. vi hdfs-site.xml
复制代码
  ----在configuration里----
  1. <property>
  2.   <name>dfs.replication</name>
  3.   <value>1</value>
  4. </property>
复制代码
4.4格式化NameNode

  1. /usr/local/hadoop-2.9.2/bin/hdfs namenode -format
复制代码

4.5设置yarn-env.sh

  1. vi yarn-env.sh
复制代码

  1. export JAVA_HOME=/usr/local/jdk1.8.0_171
复制代码
4.6设置yarn-site.xml

  1. vi yarn-site.xml
复制代码
  ----在configuration里----
  1. <property>
  2.   <name>yarn.nodemanager.aux-services</name>
  3.   <value>mapreduce_shuffle</value>
  4. </property>
  5. <property>
  6.   <name>yarn.resourcemanager.hostname</name>
  7.   <value>hadoop</value>
  8. </property>
  9. <property>
  10.   <name>yarn.resourcemanager.webapp.address</name>
  11.   <value>0.0.0.0:8088</value>
  12. </property>
复制代码
4.7设置mapred-env.sh

  1. vi mapred-env.sh
复制代码
  1. export JAVA_HOME=/usr/local/jdk1.8.0_171
复制代码
4.8重定名

  1. mv mapred-site.xml.template mapred-site.xml
复制代码
①设置mapred-site.xml

  1. vi mapred-site.xml
复制代码
  1. <property>
  2.   <name>mapreduce.framework.name</name>
  3.   <value>yarn</value>
  4. </property>
复制代码
4.9启动

  1. /usr/local/hadoop-2.9.2/sbin/start-all.sh
复制代码
输入yes及暗码

4.10检察是否运行

  1. jps
复制代码

访问 NameNode 的 Web 界面
http://192.168.200.131:50070

访问 ResourceManager 的 Web 界面
http://192.168.200.131:8088

五、ssh免密设置

1.天生密钥

   **回车四次，**所有主机都要实行
  1. ssh-keygen
复制代码

2.将本机公钥文件复制到其它虚拟机上

   **吸收方开机，**所有主机都要实行
  格式，分发时先输入yes后输对应主机的暗码
  1. ssh-copy-id 主机名称
复制代码

3.检察是否乐成免密登录

  1. ssh 主机名称
复制代码

4.启动Hadoop集群

  1. /usr/local/hadoop-2.9.2/sbin/start-all.sh
复制代码

六、代码

1.Windows环境变量

变量名HADOOP_HOME，值为安装目次D:\JavaSoftware\hadoop-2.9.2
2.Path变量

%HADOOP_HOME%\bin
3.创建Maven项目


4.导⼊hadoop依赖

  1. <dependencies>
  2.         <dependency>
  3.             <groupId>org.apache.logging.log4j</groupId>
  4.             <artifactId>log4j-core</artifactId>
  5.             <version>2.8.2</version>
  6.         </dependency>
  7.         <dependency>
  8.             <groupId>org.apache.hadoop</groupId>
  9.             <artifactId>hadoop-common</artifactId>
  10.             <version>2.9.2</version>
  11.         </dependency>
  12.         <dependency>
  13.             <groupId>org.apache.hadoop</groupId>
  14.             <artifactId>hadoop-client</artifactId>
  15.             <version>2.9.2</version>
  16.         </dependency>
  17.         <dependency>
  18.             <groupId>org.apache.hadoop</groupId>
  19.             <artifactId>hadoop-hdfs</artifactId>
  20.             <version>2.9.2</version>
  21.         </dependency>
  22.     </dependencies>
  23.     <!--maven打包插件 -->
  24.     <build>
  25.         <plugins>
  26.             <plugin>
  27.                 <artifactId>maven-compiler-plugin</artifactId>
  28.                 <version>2.3.2</version>
  29.                 <configuration>
  30.                     <source>1.8</source>
  31.                     <target>1.8</target>
  32.                 </configuration>
  33.             </plugin>
  34.             <plugin>
  35.                 <artifactId>maven-assembly-plugin</artifactId>
  36.                 <configuration>
  37.                     <descriptorRefs>
  38.                         <descriptorRef>jar-with-dependencies</descriptorRef>
  39.                     </descriptorRefs>
  41.                 </configuration>
  42.                 <executions>
  43.                     <execution>
  44.                         <id>make-assembly</id>
  45.                         <phase>package</phase>
  46.                         <goals>
  47.                             <goal>single</goal>
  48.                         </goals>
  49.                     </execution>
  50.                 </executions>
  51.             </plugin>
  52.         </plugins>
  53.     </build>
复制代码
5.添加log4j.properties

  1. log4j.rootLogger=info, stdout
  2. log4j.appender.stdout=org.apache.log4j.ConsoleAppender
  3. log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
  4. log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
  5. log4j.appender.logfile=org.apache.log4j.FileAppender
  6. log4j.appender.logfile.File=target/spring.log
  7. log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
  8. log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
复制代码
6.团体思绪梳理

Map阶段：

  • map()⽅法中把传⼊的数据转为String类型
  • 根据空格切分出单词
  • 输出<单词，1>
Reduce阶段：

  • 汇总各个key(单词)的个数，遍历value数据进⾏累加
  • 输出key的总数
Driver

  • 获取设置⽂件对象，获取job对象实例
  • 指定步伐jar的当地路径
  • 指定Mapper/Reducer类
  • 指定Mapper输出的kv数据类型
  • 指定终极输出的kv数据类型
  • 指定job处理的原始数据路径
  • 指定job输出效果路径
  • 提交作业
  • 编写Mapper类
7.示例一

7.1Map阶段

  1. package cn.bdqn;
  3. import org.apache.hadoop.io.IntWritable;
  4. import org.apache.hadoop.io.LongWritable;
  5. import org.apache.hadoop.io.Text;
  6. import org.apache.hadoop.mapreduce.Mapper;
  8. import java.io.IOException;
  10. public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
  12.     Text k = new Text();
  13.     IntWritable v = new IntWritable(1);
  15.     @Override
  16.     protected void map(LongWritable key, Text value, Context context) throws
  17.             IOException, InterruptedException {
  19.         // 1 获取一行
  20.         String line = value.toString();
  22.         // 2 切割
  23.         String[] words = line.split(" ");
  25.         // 3 输出
  26.         for (String word : words) {
  28.             k.set(word);
  29.             context.write(k, v);
  30.         }
  31.     }
  32. }
复制代码
7.2Reducer阶段

  1. package cn.bdqn;
  3. import org.apache.hadoop.io.IntWritable;
  4. import org.apache.hadoop.io.Text;
  5. import org.apache.hadoop.mapreduce.Reducer;
  7. import java.io.IOException;
  9. public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
  11.     int sum;
  12.     IntWritable v = new IntWritable();
  14.     @Override
  15.     protected void reduce(Text key, Iterable<IntWritable> values, Context
  16.             context) throws IOException, InterruptedException {
  18.         // 1 累加求和
  19.         sum = 0;
  20.         for (IntWritable count : values) {
  21.             sum += count.get();
  22.         }
  23.         System.out.println();
  24.         // 2 输出
  25.         v.set(sum);
  26.         context.write(key, v);
  27.     }
  28. }
复制代码
7.3Driver阶段

  1. package cn.bdqn;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.Path;
  6. import org.apache.hadoop.io.IntWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
  10. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  11. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  13. import java.io.IOException;
  15. public class WordcountDriver {
  16.     public static void main(String[] args) throws IOException,
  17.             ClassNotFoundException, InterruptedException {
  18.         // 1 获取配置信息以及封装任务
  19.         Configuration configuration = new Configuration();
  20.         Job job = Job.getInstance(configuration);
  21.         // 2 设置jar加载路径
  22.         job.setJarByClass(WordcountDriver.class);
  23.         // 3 设置map和reduce类
  24.         job.setMapperClass(WordcountMapper.class);
  25.         job.setReducerClass(WordcountReducer.class);
  27.         job.setCombinerClass(WordcountReducer.class);
  28.         // 4 设置map输出
  29.         job.setMapOutputKeyClass(Text.class);
  30.         job.setMapOutputValueClass(IntWritable.class);
  31.         // 5 设置最终输出kv类型
  32.         job.setOutputKeyClass(Text.class);
  33.         job.setOutputValueClass(IntWritable.class);
  34.         job.setInputFormatClass(CombineTextInputFormat.class);
  35.         // 6 设置输入和输出路径
  36.         FileInputFormat.setInputPaths(job, new Path(args[0]));
  37.         FileOutputFormat.setOutputPath(job, new Path(args[1]));
  38.         // 7 提交
  39.         boolean result = job.waitForCompletion(true);
  40.         System.exit(result ? 0 : 1);
  41.     }
  42. }
复制代码
8.示例二

8.1序列化

  1. package cn.bdqn.demo1;
  3. import org.apache.hadoop.io.Writable;
  5. import java.io.DataInput;
  6. import java.io.DataOutput;
  7. import java.io.IOException;
  9. // 1 实现writable接口
  10. public class SpeakBean implements Writable {
  11.     private long selfDuration;
  12.     private long thirdPartDuration;
  13.     private long sumDuration;
  15.     //2 反序列化时，需要反射调用空参构造函数，所以必须有
  16.     public SpeakBean() {
  17.     }
  19.     public SpeakBean(long selfDuration, long thirdPartDuration) {
  20.         this.selfDuration = selfDuration;
  21.         this.thirdPartDuration = thirdPartDuration;
  22.         this.sumDuration = this.selfDuration + this.thirdPartDuration;
  23.     }
  25.     //3 写序列化方法
  26.     public void write(DataOutput out) throws IOException {
  27.         out.writeLong(selfDuration);
  28.         out.writeLong(thirdPartDuration);
  29.         out.writeLong(sumDuration);
  30.     }
  32.     //4 反序列化方法
  33.     //5 反序列化方法读顺序必须和写序列化方法的写顺序必须一致
  34.     public void readFields(DataInput in) throws IOException {
  35.         this.selfDuration = in.readLong();
  36.         this.thirdPartDuration = in.readLong();
  37.         this.sumDuration = in.readLong();
  38.     }
  40.     // 6 编写toString方法，方便后续打印到文本
  41.     @Override
  42.     public String toString() {
  43.         return selfDuration +
  44.                 "\t" + thirdPartDuration +
  45.                 "\t" + sumDuration;
  46.     }
  48.     public long getSelfDuration() {
  49.         return selfDuration;
  50.     }
  52.     public void setSelfDuration(long selfDuration) {
  53.         this.selfDuration = selfDuration;
  54.     }
  56.     public long getThirdPartDuration() {
  57.         return thirdPartDuration;
  58.     }
  60.     public void setThirdPartDuration(long thirdPartDuration) {
  61.         this.thirdPartDuration = thirdPartDuration;
  62.     }
  64.     public long getSumDuration() {
  65.         return sumDuration;
  66.     }
  68.     public void setSumDuration(long sumDuration) {
  69.         this.sumDuration = sumDuration;
  70.     }
  72.     public void set(long selfDuration, long thirdPartDuration) {
  73.         this.selfDuration = selfDuration;
  74.         this.thirdPartDuration = thirdPartDuration;
  75.         this.sumDuration = this.selfDuration + this.thirdPartDuration;
  76.     }
  77. }
复制代码
8.1Map阶段

  1. package cn.bdqn.demo1;
  3. import org.apache.hadoop.io.LongWritable;
  4. import org.apache.hadoop.io.Text;
  5. import org.apache.hadoop.mapreduce.Mapper;
  7. import java.io.IOException;
  9. public class SpeakDurationMapper extends Mapper<LongWritable, Text, Text,SpeakBean> {
  10.     SpeakBean v = new SpeakBean();
  11.     Text k = new Text();
  13.     @Override
  14.     protected void map(LongWritable key, Text value, Context context)
  15.             throws IOException, InterruptedException {
  16.         // 1 获取一行
  17.         String line = value.toString();
  18.         // 2 切割字段
  19.         String[] fields = line.split("\t");
  20.         // 3 封装对象
  21.         // 取出设备id
  22.         String deviceId = fields[1];
  23.         // 取出自有和第三方时长数据
  24.         long selfDuration = Long.parseLong(fields[fields.length - 3]);
  25.         long thirdPartDuration = Long.parseLong(fields[fields.length - 2]);
  26.         k.set(deviceId);
  27.         v.set(selfDuration, thirdPartDuration);
  28.         // 4 写出
  29.         context.write(k, v);
  30.     }
  31. }
复制代码
8.2Reducer阶段

  1. package cn.bdqn.demo1;
  3. import org.apache.hadoop.io.Text;
  4. import org.apache.hadoop.mapreduce.Reducer;
  6. import java.io.IOException;
  8. public class SpeakDurationReducer extends Reducer<Text, SpeakBean, Text, SpeakBean> {
  9.     @Override
  10.     protected void reduce(Text key, Iterable<SpeakBean> values, Context
  11.             context) throws IOException, InterruptedException {
  12.         long self_Duration = 0;
  13.         long thirdPart_Duration = 0;// 1 遍历所用bean，将其中的自有，第三方时长分别累加
  14.         for (SpeakBean sb : values) {
  15.             self_Duration += sb.getSelfDuration();
  16.             thirdPart_Duration += sb.getThirdPartDuration();
  17.         }
  18.         // 2 封装对象
  19.         SpeakBean resultBean = new SpeakBean(self_Duration,
  20.                 thirdPart_Duration);
  21.         // 3 写出
  22.         context.write(key, resultBean);
  23.     }
  24. }
复制代码
8.3Driver阶段

  1. package cn.bdqn.demo1;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.Text;
  6. import org.apache.hadoop.mapreduce.Job;
  7. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  8. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  10. import java.io.IOException;
  12. public class SpeakerDriver {
  13.     public static void main(String[] args) throws IllegalArgumentException,
  14.             IOException, ClassNotFoundException, InterruptedException {
  15.         // 输入输出路径需要根据自己电脑上实际的输入输出路径设置
  16.         //args = new String[]{"d:/input/input/speak.data", "d:/output222"};
  17.         // 1 获取配置信息，或者job对象实例
  18.         Configuration configuration = new Configuration();
  19.         Job job = Job.getInstance(configuration);
  20.         // 6 指定本程序的jar包所在的本地路径
  21.         job.setJarByClass(SpeakerDriver.class);
  22.         // 2 指定本业务job要使用的mapper/Reducer业务类
  23.         job.setMapperClass(SpeakDurationMapper.class);
  24.         job.setReducerClass(SpeakDurationReducer.class);
  25.         // 3 指定mapper输出数据的kv类型
  26.         job.setMapOutputKeyClass(Text.class);
  27.         job.setMapOutputValueClass(SpeakBean.class);
  28.         // 4 指定最终输出的数据的kv类型
  29.         job.setOutputKeyClass(Text.class);
  30.         job.setOutputValueClass(SpeakBean.class);
  31.         // 5 指定job的输入原始文件所在目录
  32.         FileInputFormat.setInputPaths(job, new Path(args[0]));
  33.         FileOutputFormat.setOutputPath(job, new Path(args[1]));
  34.         // 7 将job中配置的相关参数，以及job所用的java类所在的jar包， 提交给yarn去运行
  35.         boolean result = job.waitForCompletion(true);
  36.         System.exit(result ? 0 : 1);
  37.     }
  38. }
复制代码
七、打包上传

1.打包


2.效果


3.在Linux创建文件

4.hdfs命令

4.1帮助

  1. hadoop fs -help
复制代码
4.2创建目标目次

  1. hadoop fs -mkdir -p /user/root
复制代码
4.3上传

  1. hadoop fs -put a.txt /
复制代码

4.4删除空目次

  1. hadoop fs -rmdir /user/root
复制代码
4.5删除文件

  1. hadoop fs -rm -f /user/root/a.txt
复制代码

4.6实行代码

  1. hadoop jar jar文件 启动类 读取文件位置 输出文件位置
复制代码
示例
  1. hadoop jar Hadoop_Demo-1.0-SNAPSHOT.jar cn.bdqn.demo.WordcountDriver  /b.txt /out1
复制代码

  1. hadoop jar Hadoop_Demo-1.0-SNAPSHOT.jar cn.bdqn.demo1.SpeakerDriver  /a.txt /out
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

万有斥力

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

存储 挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表