urllib+BeautifulSoup爬取并解析2345天气王历史天气数据

urllib+BeautifulSoup爬取并解析2345天气王历史天气数据
网址：东城历史天气查询_历史天气预报查询_2345天气预报

1、代码

1. import json
2. import logging
3. import urllib.parse
4. from datetime import date, datetime
5. from random import randint
6. from time import sleep
8. import pymysql
9. from bs4 import BeautifulSoup
10. # 定义目标URL
11. import requests
13. def weather_req():
14.     month_list = [1,2,3,4,5,6]  # 月份
15.     code_list = get_code()  # 获取所有的 天气code 和 地区code
16.     # 需要 2018 1月 到 2023 6月
17.     url = "https://tianqi.2345.com/Pc/GetHistory"   # 原始URL
18.     full_url = ""   # 最终拼好的url
19.     # 定义请求头
20.     headers = {
21.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58',
22.     }
23.     # 定义GET参数
24.     params = {
25.         'areaInfo[areaId]': 70809,
26.         'areaInfo[areaType]': 2,
27.         'date[year]': 2023,
28.         'date[month]': 6
29.     }
30.     # 遍历 天气code 和 地区code 的列表
31.     for code_item in code_list:
32.         weather_code = code_item[0] # 拿到天气code
33.         area_code = code_item[1]    # 拿到地区code
34.         # 修改 url 参数 天气code的值
35.         params['areaInfo[areaId]'] = weather_code
36.         # 开始遍历月份列表
37.         for month_item in month_list:
38.             print(f"正在爬取天气ID为【{weather_code}】，地区ID为【{area_code}】的第【{month_item}】月的数据！")
39.             # 修改 month 的值为新值
40.             params['date[month]'] = month_item
41.             # 编码 GET参数
42.             encoded_params = urllib.parse.urlencode(params)
43.             # 拼接完整的URL
44.             full_url = url + '?' + encoded_params
45.             print(full_url)
46.             try:
47.                 sleep(randint(1, 3))    # 睡眠(随机1-3秒)
48.                 # 发起请求
49.                 res = requests.get(full_url, headers=headers)
50.                 res_data = json.loads(res.text)
51.                 weather_data = res_data['data']
52.                 # print(weather_data)
53.                 # 解析数据
54.                 soup = BeautifulSoup(weather_data, 'html.parser')
55.                 # 拿到需要的table
56.                 table_data = soup.find('table', attrs={'class': 'history-table'})
57.                 # print(type(table_data),'\n',table_data)
58.                 all_tr = table_data.find_all('tr')  # 拿到所有的tr
59.                 # print(all_tr[0])
60.                 weather_list = []   # 这是要存储数据的list
61.                 # 开始遍历tr列表 一个列表存储了某地区的某年份的某月完整的数据
62.                 for i in range(1, len(all_tr)):
63.                     temp_list = []  # 暂时存储一天的数据 每次循环都刷新
64.                     tr_item = all_tr[i] # 拿到一个tr数据
65.                     all_td = tr_item.find_all("td") # 拿到一个tr里的所有td，td里面的text就是需要的值
66.                     rdate = str(all_td[0].text)  # 日期 2023-01-01 周日
67.                     # 日期需要转化格式，去掉星期
68.                     rdate_new = rdate.split(" ")[0] # 拿到日期字符串
69.                     # 解析字符串为日期对象
70.                     date_object = datetime.strptime(rdate_new, "%Y-%m-%d")
71.                     # 将日期对象格式化为 MySQL 可存储的日期字符串
72.                     mysql_date = date_object.strftime("%Y-%m-%d")   # 最终被存储的日期
73.                     wind_and_power = all_td[4].text # 风向和风力是在一起的 需要解析
74.                     wind = str(wind_and_power).split("风")[0]    # 风向
75.                     winp = str(wind_and_power).split("风")[1]   # 风力
76.                     temp_max = str(all_td[1].text)  # 最高温
77.                     temp_min = str(all_td[2].text)  # 最低温
78.                     weather = str(all_td[3].text)   # 天气情况
79.                     # 把上面的变量存储到 temp_list 然后再一起存到 weather_list
80.                     temp_list.append(mysql_date)    # 日期
81.                     temp_list.append(weather_code)  # 天气编码
82.                     temp_list.append(area_code) # 地区编码
83.                     temp_list.append(wind)  # 风向
84.                     temp_list.append(winp) # 风力
85.                     temp_list.append(temp_max)  # 最高温度
86.                     temp_list.append(temp_min)  # 最低温度
87.                     temp_list.append(weather)   # 天气情况
88.                     weather_list.append(temp_list)
89.                 print(weather_list)
90.                 # 开始插入数据 【某个地区的，某一年的，某一个月份的数据】
91.                 conn_his,cursor_his = get_conn()    # 建立数据库连接
92.                 # 遍历数据
93.                 for save_item in weather_list:
94.                     INSERT_SQL = "insert into w_weather_day_history (rdate,weather_code,area_code,wind,winp,temp_max,temp_min,weather) " \
95.                                  "values(%s,%s,%s,%s,%s,%s,%s,%s)" \
96.                                  "              "%("""+save_item[0]+""",
97.                                                   """+save_item[1]+""",
98.                                                   """+save_item[2]+""",
99.                                                   """+save_item[3]+"""
100.                                                  ,"""+save_item[4]+"""
101.                                                  ,"""+save_item[5]+"""
102.                                                  ,"""+save_item[6]+"""
103.                                                  ,"""+save_item[7]+""")
105.                     print(INSERT_SQL)
106.                     cursor_his.execute(INSERT_SQL)  # 执行sql语句
107.                     conn_his.commit()  # 提交事务
108.                     print("--------------------------------------------------")
109.             except urllib.error.URLError as e:
110.                 print("发生错误：", e)
112. def get_code():
113.     conn,cursor = get_conn()
114.     SQL = "select fwc.weather_code,fwc.area_code from f_weather_area_code fwc;"
115.     cursor.execute(SQL)
116.     res = cursor.fetchall()
117.     print(res)
118.     return res
120. def get_conn():
121.     """
122.     :return: 连接，游标
123.     """
124.     # 创建连接
125.     conn = pymysql.connect(host="127.0.0.1",
126.                     user="root",
127.                     password="reliable",
128.                     db="weather",
129.                     charset="utf8")
130.     # 创建游标
131.     cursor = conn.cursor()  # 执行完毕返回的结果集默认以元组显示
132.     return conn, cursor
134. def close_conn(conn, cursor):
135.     if cursor:
136.         cursor.close()
137.     if conn:
138.         conn.close()
140. if __name__ == '__main__':
141.     # get_code()
142.     weather_req()

复制代码

2、分析

url构成如下：
基础url：https://tianqi.2345.com/Pc/GetHistory
参数：

1. params = {
2.         'areaInfo[areaId]': 70809,
3.         'areaInfo[areaType]': 2,
4.         'date[year]': 2023,
5.         'date[month]': 6
6.     }

复制代码

areaInfo[areaId] 表示的是 某地区的天气编码，这个需要去自己获取。
areaInfo[areaType] 不用管
后面两个参数就是年份和月份了
3、发起请求demo

1. url = "https://tianqi.2345.com/Pc/GetHistory"   # 原始URL    full_url = ""   # 最终拼好的url    # 定义请求头    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58',    }    # 定义GET参数    params = {
2.         'areaInfo[areaId]': 70809,
3.         'areaInfo[areaType]': 2,
4.         'date[year]': 2023,
5.         'date[month]': 6
6.     }        # 解析参数    encoded_params = urllib.parse.urlencode(params)    # 拼接完整的URL    full_url = url + '?' + encoded_params    sleep(randint(1, 3))    # 睡眠(随机1-3秒)    # 发起请求    res = requests.get(full_url, headers=headers)    res_data = json.loads(res.text)    weather_data = res_data['data']

复制代码

4、解析数据demo

1. # 解析数据
2. soup = BeautifulSoup(weather_data, 'html.parser')
3. # 拿到需要的table
4. table_data = soup.find('table', attrs={'class': 'history-table'})
5. # print(type(table_data),'\n',table_data)
6. all_tr = table_data.find_all('tr')  # 拿到所有的tr

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！