气象大数据案例项目（求各气象站的均匀气温）

一、项目需求

现在有一份来自美国国家海洋和大气管理局的数据集，里面包罗近30年每个气象站、每小时的气候预报数据，每个报告的文件巨细大约15M。一共有10个气象站，每个报告文件的名字包罗气象站ID，每条记录包罗气温、风向、气候状况等多个字段信息。现在要求统计美国各气象站30年均匀气温。
二、数据格式

一共10份气象站的数据

文档里面的数据格式，注意 -9999 说明数据缺失

三、项目开辟

3.1 在windows 进行开辟

• 引入 Hadoop 依靠
  

1. <dependency>
2.         <groupId>org.apache.hadoop</groupId>
3.         <artifactId>hadoop-client</artifactId>
4.         <version>2.10.2</version>
5. </dependency>

复制代码

• 开辟脚本
  

1. package com.feifei.mapreduce;
3. import org.apache.hadoop.conf.Configuration;
4. import org.apache.hadoop.fs.Path;
5. import org.apache.hadoop.io.IntWritable;
6. import org.apache.hadoop.io.Text;
7. import org.apache.hadoop.mapred.FileSplit;
8. import org.apache.hadoop.mapreduce.Job;
9. import org.apache.hadoop.mapreduce.Mapper;
10. import org.apache.hadoop.mapreduce.Reducer;
11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
12. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
13. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
14. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
16. import java.io.IOException;
18. public class WeatherAnalysis {
19.     public static class MyMapper extends Mapper<Object, Text, Text, IntWritable> {
20.         @Override
21.         protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
22.             String line = value.toString();
23.             int temperature = Integer.parseInt(line.substring(14, 19).trim());
24.             if(temperature != -9999){
25.                 FileSplit fileSplit = (FileSplit) context.getInputSplit();
26.                 String id = fileSplit.getPath().getName().substring(5, 10);
27.                 context.write(new Text(id), new IntWritable(temperature));
28.             }
30.         }
31.     }
32.     public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
33.         private IntWritable mean = new IntWritable();
34.         @Override
35.         protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
36.             int sum = 0;
37.             int count = 0;
38.             for (IntWritable val : values) {
39.                 sum += val.get();
40.             }
41.             mean.set(sum / count);
42.             context.write(key, mean);
43.         }
44.     }
45.     public static void main(String[] args) throws Exception {
46.         Configuration conf = new Configuration();
47.         Job job = Job.getInstance(conf);
48.         job.setJarByClass(WeatherAnalysis.class);
49.         job.setJobName("WeatherAnalysis");
50.         job.setInputFormatClass(TextInputFormat.class);
51.         job.setOutputFormatClass(TextOutputFormat.class);
52.         FileInputFormat.addInputPath(job, new Path(args[0]));
53.         FileOutputFormat.setOutputPath(job, new Path(args[1]));
54.         job.setMapperClass(WeatherAnalysis.MyMapper.class);
55.         job.setReducerClass(WeatherAnalysis.MyReducer.class);
56.         job.setMapOutputKeyClass(Text.class);
57.         job.setMapOutputValueClass(IntWritable.class);
58.         job.setOutputKeyClass(Text.class);
59.         job.setOutputValueClass(IntWritable.class);
60.         job.waitForCompletion(true);
61.     }
62. }

复制代码

• 设置入参和保存路径
  

3.2 运行效果

3.3 对项目打包

1. mvn clean package

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。