python爬虫：从12306网站获取火车站信息

代码逻辑

• 初始化 (init 方法)：
  
  
  
  • 设置哀求头信息。
    
  • 设置车站版本号。
    
  
  
• 同步车站信息 (synchronization 方法)：
  
  
  
  • 发送GET哀求获取车站信息。
    
  • 返回服务器响应的文本。
    
  
  
• 提取信息 (extract 方法)：
  
  
  
  • 从服务器响应中提取车站信息字符串。
    
  • 去掉字符串末端的多余字符。
    
  
  
• 处理信息 (process 方法)：
  
  
  
  • 提取并处理车站信息。
    
  • 打印车站总数。
    
  • 创建一个新的车站字典，只包罗所需的字段。
    
  • 调用 save_station 方法保存车站信息。
    
  
  
• 保存车站信息 (save_station 方法)：
  
  
  
  • 将车站信息保存到本地JSON文件。
    
  
  
• 查找含有关键词的车站 (find_keyword_station 静态方法)：
  
  
  
  • 从本地文件加载车站信息。
    
  • 根据关键词查找符合条件的车站。
    
  
  
• 查找以指定字符结尾的车站 (find_stations_with_last_char 方法)：
  
  
  
  • 从本地文件加载车站信息。
    
  • 找出以指定字符结尾的车站名称。
    
  • 调用 save_matching_stations 方法保存结果。
    
  
  
• 保存匹配的车站 (save_matching_stations 方法)：
  
  
  
  • 将匹配的车站信息保存到本地JSON文件。
    
  
  
• 查找地点城市的车站 (find_stations_in_city 方法)：
  
  
  
  • 从本地文件加载车站信息。
    
  • 找出地点城市为指定城市的车站。
    
  
  
• 主程序入口 (if name == “main” 块)：
  
  
  
  • 实例化 Station 类。
    
  • 调用 process 方法处理车站信息。
    
  • 调用 find_stations_with_last_char 方法查找以特定字符结尾的车站。
    
  • 调用 find_keyword_station 方法查找含有关键词的车站。
    
  • 调用 find_stations_in_city 方法查找地点城市的车站。
    
  
  

完整代码

1. import json
2. import re
3. import requests
5. # 定义车站信息的URL
6. URL_STATION_NAME = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js'
8. class Station:
9.     def __init__(self):
10.         # 设置请求头
11.         self.headers = {
12.             'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
13.                           "Chrome/123.0.0.0 Safari/537.36"
14.         }
16.         # 获取车站版本号
17.         self.version = '1.9320'
19.     def synchronization(self):
20.         # 发送GET请求获取车站信息
21.         response = requests.get(URL_STATION_NAME, headers=self.headers, params={
22.             "station_version": self.version
23.         })
24.         return response.text
26.     def extract(self):
27.         # 提取响应中的车站信息
28.         response = self.synchronization()
29.         response = response.replace("var station_names =", '').strip()
30.         return response[:-2]  # 去掉末尾的多余字符
32.     def process(self):
33.         # 处理提取的数据
34.         response = self.extract()
35.         response = re.findall(r'@(.*?)\|\|\|', response)
36.         print(f'共有{len(response)}个车站')
37.         response = [i.split("|") for i in response]
39.         # 创建一个新的车站字典，只包含所需的字段
40.         station_dict = []
41.         for item in response:
42.             station_info = {
43.                 "车站名": item[1],
44.                 "车站代码": item[2],
45.                 "车站编号": item[5],
46.                 "所在城市": item[7],
47.                 "城市编号": item[6]
48.             }
49.             station_dict.append(station_info)
51.         self.save_station(station_dict)
52.         
53.         return station_dict
55.     def save_station(self, station_dict):
56.         # 将车站信息保存到本地文件
57.         with open('resource/station_dict.json', 'w', encoding='utf-8') as f:
58.             json.dump(station_dict, f, ensure_ascii=False, indent=4)
60.     @staticmethod
61.     def find_keyword_station(keyword, _type='station'):
62.         # 查找含有keyword的站名
63.         with open('resource/station_dict.json', 'rt', encoding='utf-8') as f:
64.             station_dict = json.load(f)
65.         
66.         if _type == 'station':
67.             response = [item for item in station_dict if keyword.lower() in item["车站名"].lower()]
68.         elif _type == 'code':
69.             response = [item for item in station_dict if keyword.lower() in item["车站代码"].lower()]
70.         else:
71.             response = []
73.         return response
74.    
75.     def find_stations_with_last_char(self, char):
76.         # 查找所有字典的key里最后一个字是指定字符的站名，并保存结果到JSON文件
77.         with open('resource/station_dict.json', 'rt', encoding='utf-8') as f:
78.             station_dict = json.load(f)
79.         
80.         # 使用列表推导式来找到符合要求的站名
81.         matching_stations = [item for item in station_dict if item['车站名'].endswith(char)]
82.         
83.         # 保存结果到JSON文件
84.         self.save_matching_stations(matching_stations, char)
85.         
86.         return matching_stations
88.     def save_matching_stations(self, matching_stations, char):
89.         # 将车站信息保存到本地文件
90.         filename = f'resource/stations_with_last_char_{char}.json'
91.         with open(filename, 'w', encoding='utf-8') as f:
92.             json.dump(matching_stations, f, ensure_ascii=False, indent=4)
94.     def find_stations_in_city(self, city_name):
95.         # 查找所在城市为指定城市的车站
96.         with open('resource/station_dict.json', 'rt', encoding='utf-8') as f:
97.             station_dict = json.load(f)
98.         
99.         # 使用列表推导式来找到符合要求的站名，并排除不需要的字段
100.         matching_stations = [
101.             {k: v for k, v in item.items() if k not in ['所在城市', '城市编号']}
102.             for item in station_dict if city_name.lower() in item['所在城市'].lower()
103.         ]
104.         
105.         return matching_stations
107. # 主程序入口
108. if __name__ == "__main__":
109.     station = Station()
110.     station.process()
111.    
112.     result = station.find_stations_with_last_char('东')
113.     print(f"找到 {len(result)} 个以 '东' 结尾的站名")
114.    
115.     result = station.find_stations_with_last_char('西')
116.     print(f"找到 {len(result)} 个以 '西' 结尾的站名")
117.    
118.     result = station.find_stations_with_last_char('南')
119.     print(f"找到 {len(result)} 个以 '南' 结尾的站名")
120.    
121.     result = station.find_stations_with_last_char('北')
122.     print(f"找到 {len(result)} 个以 '北' 结尾的站名")
123.    
124.     # 查找含有'湛江'的站名
125.     keyword = '湛江'
126.     result = station.find_keyword_station(keyword, _type='station')
127.     print(result)
128.    
129.     # 查找所在城市为'湛江'的车站
130.     city_name = '湛江'
131.     result = station.find_stations_in_city(city_name)
132.     print(f"找到 {len(result)} 个位于 '{city_name}' 的车站:")
133.     print(result)

复制代码

运行结果

   本文参考了这个项目，在此表示感谢，但由于该项目必要配置flask，笔者对此并不认识，于是自己抽取出查询车站的代码并完善了相关功能，不再必要其他配置。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。