会员购项目面试题解析：高效数据抓取与异常处理

会员购项目

亮点

• 日志记载信息
  
• 协程异步抓取数据，大大提高抓取速度
  
• 捕获异常，并添加重试机制
  

源码

1. import logging
2. import time
4. import requests
5. import asyncio
6. import aiohttp
7. from aiohttp import ContentTypeError
8. import csv
10. # 配置日志
11. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s : %(message)s')
14. # 解析数据
15. def parse_data(data):
16.     if data:
17.         for meeting in data:
18.             project_id = meeting['project_id']
19.             project_name = meeting['project_name']
20.             start_time = meeting['start_time']
21.             venue_name = meeting['venue_name']
22.             price_low = meeting['price_low'] / 100
23.             price_high = meeting['price_high'] / 100
24.             yield {
25.                 'project_id': project_id,
26.                 'project_name': project_name,
27.                 'start_time': start_time,
28.                 'venue_name': venue_name,
29.                 'price_low': price_low,
30.                 'price_high': price_high
31.             }
34. # 保存至csv文件中
35. def save_file(city_info, city_id):
36.     if city_info:
37.         with open(f'{city_id}.csv', 'a+', newline='', encoding='utf-8') as f:
38.             writer = csv.writer(f)
40.             writer.writerow([f'{city_info["project_id"]}', f'{city_info["project_name"]}', f'{city_info["start_time"]}',
41.                              f'{city_info["venue_name"]}', f'{city_info["price_low"]}', f'{city_info["price_high"]}'])
44. class Myspider(object):
45.     types_list = ['演出', '展览', '本地生活']
46.     cities_id_list = []
47.     failed_urls = []
49.     CONCURRENTCY = 4
50.     RETRY_LIMIT = 3
52.     def __init__(self):
53.         self.session = None
54.         self.semaphore = asyncio.Semaphore(Myspider.CONCURRENTCY)
56.     # 获取城市编号并设置类属性
57.     @staticmethod
58.     def set_cities_id():
59.         headers = {
60.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0'}
61.         cities_data = requests.get("https://show.bilibili.com/api/ticket/city/list?channel=4", headers=headers).json()[
62.             'data']
63.         developed_cities_id = [city['id'] for city in cities_data['list']]
64.         developing_cities_id = [city['id'] for part in cities_data['more'] for city in part['list']]
65.         Myspider.cities_id_list = developed_cities_id + developing_cities_id
66.         return None
68.     # 解决单个任务,爬取相关信息
69.     async def get_every_page_info(self, url):
70.         async with self.semaphore:
71.             logging.info(f"scraping {url}")
72.             for attempt in range(Myspider.RETRY_LIMIT):
73.                 try:
74.                     async with self.session.get(url) as response:
75.                         data = await response.json()
76.                         return data["data"]["result"]
77.                 except ContentTypeError:
78.                     logging.info(f"error ocurred when scraping {url}", exc_info=True)
79.                 except aiohttp.ClientError as e:
80.                     logging.error(f"ClientError on {url}: {e}", exc_info=True)
81.                     if attempt < Myspider.RETRY_LIMIT - 1:
82.                         await asyncio.sleep(2 ** attempt)  # Exponential backoff
83.                         continue
84.                 except aiohttp.ServerDisconnectedError:
85.                     logging.error(f"Server disconnected: {url}", exc_info=True)
86.                     if attempt < Myspider.RETRY_LIMIT - 1:
87.                         await asyncio.sleep(2 ** attempt)
88.                         continue
89.             Myspider.failed_urls.append(url)
90.             return None  # Return None if all retry attempts fail
92.     # 获取 此分类下 此城市下 最大页数
93.     def get_max_page(self, url):
94.         headers = {
95.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0'}
96.         response = requests.get(url, headers=headers)
97.         data = response.json()
98.         return data["data"]["numPages"]
100.     # 主方法, 获取任务列表, 开4个协程去抓
101.     async def main(self):
102.         headers = {
103.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0'}
104.         # 初始化session（主要加header头信息以及代理，cookie等头信息）
105.         async with aiohttp.ClientSession(headers=headers) as session:
106.             self.session = session
107.             for type in Myspider.types_list:
108.                 for city_id in Myspider.cities_id_list:
109.                     begin_url = "https://show.bilibili.com/api/ticket/project/listV2?version=134&page=1&pagesize=16&area={}&filter=&platform=web&p_type={}".format(
110.                         city_id, type)
111.                     max_page = self.get_max_page(begin_url)
112.                     # 生成任务列表
113.                     scrapy_tasks = [self.get_every_page_info(
114.                         "https://show.bilibili.com/api/ticket/project/listV2?version=134&page={}&pagesize=16&area={}&filter=&platform=web&p_type={}".format(
115.                             page, city_id, type)) for page in range(1, max_page + 1)]
116.                     # 并发执行任务,获取执行结果
117.                     scrapy_results = await asyncio.gather(*scrapy_tasks)
118.                     # 解析结果数据
119.                     for result in scrapy_results:
120.                         data = parse_data(result)
121.                         for city_info in data:
122.                             print(city_info)
123.                             save_file(city_info, city_id)
124.             # 关闭连接
125.             await self.session.close()
128. if __name__ == '__main__':
129.     # 开始时间
130.     start_time = time.time()
131.     # 获取城市编号,设置类属性cities_id_list
132.     Myspider.set_cities_id()
133.     # 初始化Myspider
134.     spider = Myspider()
135.     # 创建事件循环池
136.     loop = asyncio.get_event_loop()
137.     # 注册
138.     loop.run_until_complete(spider.main())
139.     # 结束事件
140.     end_time = time.time()
141.     logging.info(f"total_time: {end_time - start_time}")
143.     # print(spider.get_max_page('https://show.bilibili.com/api/ticket/project/listV2?version=134&page=1&pagesize=16&area=110100&filter=&platform=web&p_type=%E5%85%A8%E9%83%A8%E7%B1%BB%E5%9E%8B'))

复制代码

更多精致内容: [CodeRealm]

[外链图片转存失败,源站大概有防盗链机制,建议将图片保存下来直接上传(img-BB6kKZj6-1722175080359)(https://i-blog.csdnimg.cn/direct/e18ac94120d945d28ffc46243559ba96.png#pic_center)]

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。