近段时间天气暴热，所以采集北上广深去年天气数据，制作可视化图看下 ...

前言

最近天气异常暴热，看到某些地方地表温度居然达到70°，这就离谱
所以就想采集一下天气的数据，做个可视化图，回忆一下去年的天气情况

开发环境

• python 3.8 运行代码
  
• pycharm 2021.2 辅助敲代码
  
• requests 第三方模块
  

对于本篇文章有疑问的同学可以加【资料白嫖、解答交流群：753182387】

天气数据采集

1. 发送请求

1. url = 'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D=2022&date%5Bmonth%5D=5'
2. response = requests.get(url)
3. print(response)

复制代码

 

返回: 请求成功

2. 获取数据

1. print(response.json())

复制代码

 

3. 解析数据 天气信息提取出来

结构化数据解析：Python字典取值
非结构化数据解析：网页结构

1. json_data = response.json()
2. html_data = json_data['data']
3. select = parsel.Selector(html_data)
4. trs = select.css('table tr')
5. for tr in trs[1:]:
6.     # 网页结构
7.     # html网页 <td>asdfwaefaewfweafwaef</td> <a></a>
8.     # ::text: 我需要这个 标签里面的文本内容
9.     td = tr.css('td::text').getall()
10.     print(td)

复制代码

 
4. 保存数据

1. with open('天气数据.csv', encoding='utf-8', mode='a', newline='') as f:
2.     csv_writer = csv.writer(f)
3.     csv_writer.writerow(td)

复制代码

 


数据可视化效果

读取数据

1. data = pd.read_csv('天气数据.csv')
2. data

复制代码

 

分割日期/星期

1. data[['日期','星期']] = data['日期'].str.split(' ',expand=True,n=1)
2. data

复制代码

 

去除多余字符

1. data[['最高温度','最低温度']] = data[['最高温度','最低温度']].apply(lambda x: x.str.replace('°',''))
2. data.head()

复制代码

 

北上广深2021年10月份天气热力图分布

1. import matplotlib.pyplot as plt
2. import matplotlib.colors as mcolors
3. import seaborn as sns
5. #设置全局默认字体 为 雅黑
6. plt.rcParams['font.family'] = ['Microsoft YaHei']
7. # 设置全局轴标签字典大小
8. plt.rcParams["axes.labelsize"] = 14  
9. # 设置背景
10. sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
11. # 设置画布长宽 和 dpi
12. plt.figure(figsize=(18,8),dpi=100)
13. # 自定义色卡
14. cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216'])
15. # 绘制热力图
17. ax = sns.heatmap(data_pivot, cmap=cmap, vmax=30,
18.                  annot=True, # 热力图上显示数值
19.                  linewidths=0.5,
20.                 )
21. # 将x轴刻度放在最上面
22. ax.xaxis.set_ticks_position('top')
23. plt.title('北京最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
24. plt.show()

复制代码

 




北京2021年每日最高最低温度变化

1. color0 = ['#FF76A2','#24ACE6']
2. color_js0 = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
3.     [{offset: 0, color: '#FFC0CB'}, {offset: 1, color: '#ed1941'}], false)"""
4. color_js1 = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
5.     [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#009ad6'}], false)"""
7. tl = Timeline()
8. for i in range(0,len(data_bj)):
9.     coordy_high = list(data_bj['最高温度'])[i]
10.     coordx = list(data_bj['日期'])[i]
11.     coordy_low = list(data_bj['最低温度'])[i]
12.     x_max = list(data_bj['日期'])[i]+datetime.timedelta(days=10)
13.     y_max = int(max(list(data_bj['最高温度'])[0:i+1]))+3
14.     y_min = int(min(list(data_bj['最低温度'])[0:i+1]))-3
15.     title_date = list(data_bj['日期'])[i].strftime('%Y-%m-%d')
16.     c = (
17.         Line(
18.             init_opts=opts.InitOpts(
19.             theme='dark',
20.             #设置动画
21.             animation_opts=opts.AnimationOpts(animation_delay_update=800),#(animation_delay=1000, animation_easing="elasticOut"),
22.             #设置宽度、高度
23.             width='1500px',
24.             height='900px', )
25.         )
26.         .add_xaxis(list(data_bj['日期'])[0:i])
27.         .add_yaxis(
28.             series_name="",
29.             y_axis=list(data_bj['最高温度'])[0:i], is_smooth=True,is_symbol_show=False,
30.             linestyle_opts={
31.                    'normal': {
32.                        'width': 3,
33.                        'shadowColor': 'rgba(0, 0, 0, 0.5)',
34.                        'shadowBlur': 5,
35.                        'shadowOffsetY': 10,
36.                        'shadowOffsetX': 10,
37.                        'curve': 0.5,
38.                        'color': JsCode(color_js0)
39.                    }
40.                },
41.             itemstyle_opts={
42.             "normal": {
43.                 "color": JsCode(
44.                     """new echarts.graphic.LinearGradient(0, 0, 0, 1, [{
45.                 offset: 0,
46.                 color: '#ed1941'
47.             }, {
48.                 offset: 1,
49.                 color: '#009ad6'
50.             }], false)"""
51.                 ),
52.                 "barBorderRadius": [45, 45, 45, 45],
53.                 "shadowColor": "rgb(0, 160, 221)",
54.             }
55.         },
57.         )
58.         .add_yaxis(
59.             series_name="",
60.             y_axis=list(data_bj['最低温度'])[0:i], is_smooth=True,is_symbol_show=False,
61. #             linestyle_opts=opts.LineStyleOpts(color=color0[1],width=3),
62.             itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js1)),
63.             linestyle_opts={
64.                    'normal': {
65.                        'width': 3,
66.                        'shadowColor': 'rgba(0, 0, 0, 0.5)',
67.                        'shadowBlur': 5,
68.                        'shadowOffsetY': 10,
69.                        'shadowOffsetX': 10,
70.                        'curve': 0.5,
71.                        'color': JsCode(color_js1)
72.                    }
73.                },
74.         )
75.         .set_global_opts(
76.             title_opts=opts.TitleOpts("北京2021年每日最高最低温度变化\n\n{}".format(title_date),pos_left=330,padding=[30,20]),
77.             xaxis_opts=opts.AxisOpts(type_="time",max_=x_max),#, interval=10,min_=i-5,split_number=20,axistick_opts=opts.AxisTickOpts(length=2500),axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey"))
78.             yaxis_opts=opts.AxisOpts(min_=y_min,max_=y_max),#坐标轴颜色,axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey"))
79.         )
80.     )
81.     tl.add(c, "{}".format(list(data_bj['日期'])[i]))
82.     tl.add_schema(
83.         axis_type='time',
84.         play_interval=100,  # 表示播放的速度
85.         pos_bottom="-29px",
86.         is_loop_play=False, # 是否循环播放
87.         width="780px",
88.         pos_left='30px',
89.         is_auto_play=True,  # 是否自动播放。
90.         is_timeline_show=False)
91. tl.render_notebook()

复制代码

 

北上广深10月份每日最高气温变化

1. # 背景色
2. background_color_js = (
3.     "new echarts.graphic.LinearGradient(0, 0, 0, 1, "
4.     "[{offset: 0, color: '#c86589'}, {offset: 1, color: '#06a7ff'}], false)"
5. )
7. # 线条样式
8. linestyle_dic = { 'normal': {
9.                     'width': 4,  
10.                     'shadowColor': '#696969',
11.                     'shadowBlur': 10,  
12.                     'shadowOffsetY': 10,  
13.                     'shadowOffsetX': 10,  
14.                     }
15.                 }
16.    
17. timeline = Timeline(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js),
18.                                             width='980px',height='600px'))
21. bj, gz, sh, sz= [], [], [], []
22. all_max = []
23. x_data = data_10[data_10['城市'] == '北京']['日'].tolist()
24. for d_time in range(len(x_data)):
25.     bj.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='北京')]["最高温度"].values.tolist()[0])
26.     gz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='广州')]["最高温度"].values.tolist()[0])
27.     sh.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='上海')]["最高温度"].values.tolist()[0])
28.     sz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='深圳')]["最高温度"].values.tolist()[0])
29.    
30.     line = (
31.         Line(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js),
32.                                      width='980px',height='600px'))
33.         .add_xaxis(
34.             x_data,
35.                   )
36.         
37.         .add_yaxis(
38.             '北京',
39.             bj,
40.             symbol_size=5,
41.             is_smooth=True,
42.             is_hover_animation=True,
43.             label_opts=opts.LabelOpts(is_show=False),
44.         )
45.   
46.         .add_yaxis(
47.             '广州',
48.             gz,
49.             symbol_size=5,
50.             is_smooth=True,
51.             is_hover_animation=True,
52.             label_opts=opts.LabelOpts(is_show=False),
53.         )
55.         .add_yaxis(
56.             '上海',
57.             sh,
58.             symbol_size=5,
59.             is_smooth=True,
60.             is_hover_animation=True,
61.             label_opts=opts.LabelOpts(is_show=False),
62.             
63.         )
65.         .add_yaxis(
66.             '深圳',
67.             sz,
68.             symbol_size=5,
69.             is_smooth=True,
70.             is_hover_animation=True,
71.             label_opts=opts.LabelOpts(is_show=False),
72.             
73.         )
74.         
75.         .set_series_opts(linestyle_opts=linestyle_dic)
76.         .set_global_opts(
77.             title_opts=opts.TitleOpts(
78.                 title='北上广深10月份最高气温变化趋势',
79.                 pos_left='center',
80.                 pos_top='2%',
81.                 title_textstyle_opts=opts.TextStyleOpts(color='#DC143C', font_size=20)),
82.             
83.             tooltip_opts=opts.TooltipOpts(
84.                 trigger="axis",
85.                 axis_pointer_type="cross",
86.                 background_color="rgba(245, 245, 245, 0.8)",
87.                 border_width=1,
88.                 border_color="#ccc",
89.                 textstyle_opts=opts.TextStyleOpts(color="#000"),
90.         ),
91.             xaxis_opts=opts.AxisOpts(
92. #                 axislabel_opts=opts.LabelOpts(font_size=14, color='red'),
93. #                 axisline_opts=opts.AxisLineOpts(is_show=True,
94. #                 linestyle_opts=opts.LineStyleOpts(width=2, color='#DB7093'))
95.                 is_show = False
96.             ),
97.                
98.             
99.             yaxis_opts=opts.AxisOpts(
100.                 name='最高气温',            
101.                 is_scale=True,
102. #                 min_= int(min([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) - 10,
103.                 max_= int(max([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) + 10,
104.                 name_textstyle_opts=opts.TextStyleOpts(font_size=16,font_weight='bold',color='#5470c6'),
105.                 axislabel_opts=opts.LabelOpts(font_size=13,color='#5470c6'),
106.                 splitline_opts=opts.SplitLineOpts(is_show=True,
107.                                                   linestyle_opts=opts.LineStyleOpts(type_='dashed')),
108.                 axisline_opts=opts.AxisLineOpts(is_show=True,
109.                                         linestyle_opts=opts.LineStyleOpts(width=2, color='#5470c6'))
110.             ),
111.             legend_opts=opts.LegendOpts(is_show=True, pos_right='1%', pos_top='2%',
112.                                         legend_icon='roundRect',orient = 'vertical'),
113.         ))
114.    
115.     timeline.add(line, '{}'.format(x_data[d_time]))
117. timeline.add_schema(
118.     play_interval=1000,          # 轮播速度
119.     is_timeline_show=True,      # 是否显示 timeline 组件
120.     is_auto_play=True,          # 是否自动播放
121.     pos_left="0",
122.     pos_right="0"
123. )
124. timeline.render_notebook()

复制代码

 


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！