ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【李老师云计算】作业二，大数据开发开发口试册本 [打印本页]

作者: 河曲智叟 时间: 2024-6-15 01:17
标题: 【李老师云计算】作业二，大数据开发开发口试册本
public class MaxValueReducer extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {
private IntWritable result = new IntWritable();
@Override
public void reduce(IntWritable key, Iterable values, Context context)
throws IOException, InterruptedException {
int max = Integer.MIN_VALUE;
for (IntWritable value : values) {
max = Math.max(max, value.get());
}
result.set(max);
context.write(key, result);
}
}
在Reduce阶段的输出效果必要进行排序操作，以便将最大值排在最前面。在本问题中，我们可以利用与Map阶段类似的方式对输出效果进行排序，即利用一个比较器类来指定按照键的升序排序。下面是一个示例代码：
job.setSortComparatorClass(MaxValueComparator.class);

基于Eclipse的MapReduce项目求解最大值

3.1 Eclipse访问HDFS
在基于Eclipse的MapReduce项目中，我们必要利用HDFS作为输入和输出的数据源。因此，在编写代码之前，我们必要确保Hadoop和HDFS已经安装并运行在本地环境中。在Eclipse中，可以通过添加Hadoop库来访问HDFS。下面是一个示例代码：
Configuration conf = new Configuration();
conf.set(“fs.defaultFS”, “hdfs://localhost:9000”);
FileSystem fs = FileSystem.get(conf);
Path inputPath = new Path(“/input”);
Path outputPath = new Path(“/output”);
if (fs.exists(outputPath)) {
fs.delete(outputPath, true);
}
3.2 作业配置实现
在配置MapReduce作业时，我们必要指定作业的输入、输出、Mapper类、Reducer类等信息。
Job job = Job.getInstance(conf, “max value”);
job.setJarByClass(MaxValue.class);
job.setMapperClass(MaxValueMapper.class);
job.setCombinerClass(MaxValueReducer.class);
job.setReducerClass(MaxValueReducer.class);
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, inputPath);
FileOutputFormat.setOutputPath(job, outputPath);
在配置作业时，我们必要通过Job类的getInstance方法来获取一个作业实例，并指定作业的名称和运行配置。在本问题中，我们可以指定作业名称为"max value"。通过setJarByClass方法来指定运行作业的类，即MaxValue类。通过setMapperClass、setCombinerClass和setReducerClass方法来指定Mapper、Combine和Reducer类。通过setOutputKeyClass和setOutputValueClass方法来指定输出键和值的类型。末了，通过FileInputFormat和FileOutputFormat类的addInputPath和setOutputPath方法来指定作业的输入和输出路径。
public class MaxValue {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set(“fs.defaultFS”, “hdfs://localhost:9000”);
FileSystem fs = FileSystem.get(conf);
Path inputPath = new Path(“/input”);
Path outputPath = new Path(“/output”);
if (fs.exists(outputPath)) {
fs.delete(outputPath, true);
}
Job job = Job.getInstance(conf, “max value”);
job.setJarByClass(MaxValue.class);
job.setMapperClass(MaxValueMapper.class);
job.setCombinerClass(MaxValueReducer.class);
job.setReducerClass(MaxValueReducer.class);
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, inputPath);
FileOutputFormat.setOutputPath(job, outputPath);
boolean success = job.waitForCompletion(true);
if (success) {
System.out.println(“Job completed successfully.”);
}
}
}
在main函数中，我们起首创建一个Configuration对象，并设置默认文件系统为本地HDFS。然后，我们获取一个FileSystem对象，并指定输入和输出路径。在作业配置之后，我们通过调用waitForCompletion方法来等候作业运行完毕。末了，我们输出作业运行效果。假如作业运行成功，输出"Job completed successfully."。
3.3 Map过程的实现
public class MaxValueMapper extends Mapper<LongWritable, Text, IntWritable, IntWritable> {
private final IntWritable one = new IntWritable(1);
private IntWritable number = new IntWritable();
@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String[] numbers = value.toString().split(“,”);
for (String s : numbers) {
number.set(Integer.parseInt(s));
context.write(one, number);
}
}
}
在Mapper类中，我们起首声明两个局部变量：一个IntWritable类型的one变量，用于作为键；一个IntWritable类型的number变量，用于作为值。在map函数中，我们起首将输入的一行文本转换为一个字符串数组，然后遍历该数组。对于数组中的每个元素，我们将其转换为一个整数，并将其赋值给number变量。接下来，我们将one作为键，number作为值，通过调用Context对象的write方法写入上下文。这样，Map函数就将每个输入数值作为值输出，而将固定的键1与每个数值组合。
在Reducer类中，我们同样起首声明一个局部变量，用于保存输入值的最大值。在reduce函数中，对于每个键值对，我们将值转换为一个整数，并与当前最大值进行比较。假如值大于当前最大值，则将该值赋值给最大值变量。末了，我们通过调用Context对象的write方法将最大值写入上下文。
public static class MaxReducer extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(IntWritable key, Iterable values, Context context)
throws IOException, InterruptedException {
int max = Integer.MIN_VALUE;
for (IntWritable val : values) {
max = Math.max(max, val.get());
}
result.set(max);
context.write(key, result);
}
}
完备的代码如下：
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
public class MaxValue {
public static class MaxValueMapper extends Mapper<LongWritable, Text, LongWritable, LongWritable> {
private LongWritable lineNumber = new LongWritable();
private LongWritable maxNumber = new LongWritable();
@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] numbers = line.split(“,”);
long max = Long.MIN_VALUE;
for (String number : numbers) {
long currentNumber = Long.parseLong(number.trim());
if (currentNumber > max) {
max = currentNumber;
}
}
lineNumber.set(key.get());
maxNumber.set(max);
context.write(lineNumber, maxNumber);
}
}
public static class MaxValueReducer extends Reducer<LongWritable, LongWritable, LongWritable, LongWritable> {
private LongWritable maxLineNumber = new LongWritable();
private LongWritable maxValue = new LongWritable(Long.MIN_VALUE);
@Override
public void reduce(LongWritable key, Iterable values, Context context)
throws IOException, InterruptedException {
自我介绍一下，小编13年上海交大结业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里不停到现在。
深知大多数大数据工程师，想要提升技能，每每是本身摸索发展或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。本身不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年大数据全套学习资料》，初志也很简单，就是希望能够资助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零底子资料，也有适合3年以上经验的小同伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部门目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码课本、实战项目、解说视频，并且后续会持续更新
假如你觉得这些内容对你有资助，可以添加VX：vip204888 （备注大数据获取）

学习的零底子资料，也有适合3年以上经验的小同伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**
由于文件比较大，这里只是将部门目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码课本、实战项目、解说视频，并且后续会持续更新
假如你觉得这些内容对你有资助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-yBVRANto-1712546093338)]

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)