抓取每路公交的具体信息

@
目录

• 1.抓取查询路径:
  
• 2.拼接每路公交的线路链接:
  
• 3.抓取每路公交的具体信息
  
• 4. 实现代码
  

1.抓取查询路径:

抓取 https://lanzhou.8684.cn/ 中以数字开头的公交线路的查询路径。

1.     <a target="_blank" href="https://www.cnblogs.com/list1">1</a>
2.     <a target="_blank" href="https://www.cnblogs.com/list2">2</a>
3.     <a target="_blank" href="https://www.cnblogs.com/list3">3</a>
4.     <a target="_blank" href="https://www.cnblogs.com/list4">4</a>
5.     <a target="_blank" href="https://www.cnblogs.com/list5">5</a>
6.     <a target="_blank" href="https://www.cnblogs.com/list6">6</a>
7.     <a target="_blank" href="https://www.cnblogs.com/list7">7</a>
8.     <a target="_blank" href="https://www.cnblogs.com/list8">8</a>
9.     <a target="_blank" href="https://www.cnblogs.com/list9">9</a>

复制代码

这里所看到的 href 属性值，加上 https://lanzhou.8684.cn/ 就是将来的查询地址。
以此抓取所有的数字开头的公交线路。:

1. https://lanzhou.8684.cn/listX

复制代码

其中末尾的 X 表示 数字 1 ~ 9
如：https://lanzhou.8684.cn/list1
2.拼接每路公交的线路链接:

抓取 https://lanzhou.8684.cn/listX中每路公交的线路链接。

1.         <a target="_blank" href="https://www.cnblogs.com/x_24f5dad9" title="兰州1路公交车路线">1路</a>
2.         <a target="_blank" href="https://www.cnblogs.com/x_8234e473" title="兰州10路公交车路线">10路</a>
3.         <a target="_blank" href="https://www.cnblogs.com/x_26ecc8ae" title="兰州11路公交车路线">11路</a>
4.         <a target="_blank" href="https://www.cnblogs.com/x_27905c0e" title="兰州12路公交车路线">12路</a>
5.         <a target="_blank" href="https://www.cnblogs.com/x_9023980b" title="兰州13路公交车路线">13路</a>
6.         <a target="_blank" href="https://www.cnblogs.com/x_be53b447" title="兰州14路公交车路线">14路</a>
7.         <a target="_blank" href="https://www.cnblogs.com/x_5a54ae14" title="兰州15路公交车路线">15路</a>
8.         <a target="_blank" href="https://www.cnblogs.com/x_968a4331" title="兰州16路公交车路线">16路</a>
9.         <a target="_blank" href="https://www.cnblogs.com/x_4177a33a" title="兰州17路公交车路线">17路</a>
10.         <a target="_blank" href="https://www.cnblogs.com/x_bfe4a3eb" title="兰州18路公交车路线">18路</a>
11.         ...

复制代码

这里所看到的 href 属性值，加上 https://lanzhou.8684.cn/ 就是每路公交的线路链接。
如:https://lanzhou.8684.cn/x_24f5dad9
以此抓取所有线路链接。:
3.抓取每路公交的具体信息

1. 兰州9路公交车路线[市区线路]
2. 运行时间：西关什字6:00-22:30|晟地兰州汽配城6:00-21:40
3. 参考票价：无人售票车，1.0元一票制，支持交联IC卡/云闪付/微信/支付宝/万支付/翼支付/美团支付等多种支付方式
4. 公交公司：兰州公交集团第五客运公司

复制代码

4. 实现代码

1. # author:Aurora
2. # Datetime:2022-6-24 11:41:00
3. """
4. 抓取每路公交的具体信息
5. title:
6. run_time:
7. tickets_price:
8. bus_company:
9. """
10. # 所有库
11. import requests
12. import re
13. from bs4 import BeautifulSoup
14. import pandas as pd
15. import os
16. import time
18. # 进度条
19. def progress():
20.     for i in range(101):
21.         time.sleep(0.05)
22.         print(f"\r进度:{'-'*i} {i}%", end='')
23.     return 200
25. # 获取信息函数
26. def get_every_raod_bus_info():
27.     url = "https://lanzhou.8684.cn/"
28.     # 伪造header
29.     headers = {
30.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.124 Safari/537.36 Edg/102.0.1245.44"
31.     }
32.     response = requests.get(url=url, headers=headers)
33.     soup = BeautifulSoup(response.text, features='lxml')
34.     """
35.     兰州公交线路:
36.     1. 以数字开头
37.     2. 以汉字/字母开头
38.     3. 线路分类
40.     都在三个类为pl10的标签中，获取它们
41.     """
42.     # 获取第一个pl10也就就是以数字开头，
43.     items = soup.select('.pl10')[0]
44.     # 获取list
45.     list = items.select('.list')
46.     list = list[0] if len(list) > 0 else ''
47.     # 获取list里面的a标签
48.     a = list.select('a')
49.     # 获取属性href：['/list','/list2',..,'/list9'],listX,X代表不同数字开头的公家车，1,11,12,119,110路等公交车
50.     hrefs = [i['href'] for i in a]
51.     link = "https://lanzhou.8684.cn/"
52.     # 1. 拼接查询地址https://lanzhou.8684.cn/listX,X[1-9],就是每个数字开头的公公交车
53.     # 输入数字开头的公交线路(1-9)
54.     n1 = eval(input("请输入以数字开头的公车(1-9):"))
55.     links = []
56.     links.append(link+hrefs[n1-1])
57.     print(links)
59.     # 2. 拼接每路公交的线路链接
60.     """
61.     格式如下
62.     1:https://lanzhou.8684.cn/x_24f5dad9
63.     10:https://lanzhou.8684.cn/x_8234e473
64.     11:https://lanzhou.8684.cn/x_26ecc8ae
65.     ...
66.     https://lanzhou.8684.cn/XXXX
67.     """
68.     # 每路公交的链接列表
69.     road_list = []
70.     # 链接前缀
71.     all_road_prefix = "https://lanzhou.8684.cn"
72.     for url in links:
73.         response = requests.get(url, headers=headers)
74.         soup = BeautifulSoup(response.text, features='lxml')
75.         # 获取list
76.         lists = soup.select('.list')
77.         list = lists[0] if len(lists) > 0 else ''
78.         # 获取里面的a标签
79.         a = list.select('a')
80.         for i in a:
81.             # 取属性href然后拼接后存入到road_list
82.             road_list.append(all_road_prefix+i['href'])
83.     print(road_list)
84.     # 3. 获取每路公交的信息
85.     """
86.     title:
87.     run_time:
88.     tickets_price:
89.     bus_company:
90.     last_updated:
91.     """
92.     road_info_dic = {}
93.     title_list = []
94.     run_time_list = []
95.     ticket_price_list = []
96.     bus_company_list = []
97.     last_updated_list = []
98.     n = 1
99.     for road_url in road_list:
100.         response = requests.get(road_url, headers=headers)
101.         soup = BeautifulSoup(response.text, features='lxml')
102.         # 获取信息(返回的是列表)
103.         info = soup.select('.info')
104.         # print(info)
105.         # 判断是否为空
106.         info = info[0] if len(info) > 0 else ''
107.         # 获取所有span标签
108.         spans = info.select('span')
109.         """
110.         [兰州1路公交车路线, 公交公司：, 最后更新：2022-06-24]
111.         """
112.         # 标题：兰州1路公交车路线
113.         title = spans[0].text
114.         # 获取所有a标签
115.         a = info.select('a')
116.         """
117.         [<a aria-label="市区线路，按回车键查看全部市区线路"  target="_blank" href="https://www.cnblogs.com/line1">[市区线路]</a>, <a aria-label="兰州公交集团第一客运公司，按回车键查看全部兰州公交
118.         集团第一客运公司运营的公交线路。" target="_blank" href="https://www.cnblogs.com/g21" title="兰州公交集团第一客运公司">兰州公交集团第一客运公司</a>]
119.         """
120.         # 发现副标题category在第一个a标签里面
121.         # 副标题：[市区线路]
122.         categorys = a[0].text
123.         # 拼接总标题
124.         # 总标题： 兰州9路公交车路线[市区线路]
125.         titles = title+categorys
126.         title_list.append(titles)
127.         print(titles)
128.         # 获取所用信息描述:ul标签
129.         bus_descs = info.select('.bus-desc')
130.         bus_desc = bus_descs[0] if len(bus_descs) > 0 else ''
131.         # 获取所有li标签（信息都在li中）如下：
132.         lis = bus_desc.select('li')
133.         # print(lis)
134.         """
135.         [<li tabindex="0">运行时间：兰州西站5:55-00:00|兰州车站5:40-00:00</li>, <li tabindex="0">参考票价：无人售票车，1.0元一票制，支持交联IC卡/云闪付/微信/支付宝/万支付/
136.         翼支付/美团支付等多种支付方式</li>, <li>公交公司：<a aria-label="兰州公交集团第一客运公司，按回车键查看全部兰州公交集团第一客运公司运营的
137.         公交线路。" target="_blank" href="https://www.cnblogs.com/g21" title="兰州公交集团第一客运公司">兰州公交集团第一客运公司</a></li>, <li>最后更新：2022-06-24<i ></i>免费发送线路信息到微信</li>, <li tabindex="0">※ 本查询结果仅供参考，车程及票价请以实际发生为准</li>]
138.         """
139.         # 从lis中获取想要的信息：
140.         # 1. 运行时间
141.         run_times = lis[0].text
142.         run_time_list.append(run_times)
143.         print(run_times)
144.         # 2. 参考票价
145.         tickets_price = lis[1].text
146.         ticket_price_list.append(tickets_price)
147.         print(tickets_price)
148.         # 3. 公交公司
149.         """
150.         <li>公交公司：<a aria-label="兰州公交集团第一客运公司，按回车键查看全部兰州公交集团第一客运公司运营的 公交线路。" target="_blank" href="https://www.cnblogs.com/g21" title="兰州公交集团第一客运公司">兰州公交集团第一客运公司</a></li>,
151.         """
152.         bus_companies = lis[2].text
153.         bus_company_list.append(bus_companies)
154.         print(bus_companies)
155.         # 4. 最后更新时间
156.         last_updated = lis[3].text
157.         last_updated_list.append(last_updated)
158.         print(last_updated)
159.         print("-"*120)
160.         time.sleep(1)
161.         n += 1
162.         # 将最后的结果保存到字典中
163.         try:
164.             road_info_dic.update({"title": title_list, "run_time": run_time_list, "ticket_price": ticket_price_list,
165.                                   "bus_company": bus_company_list, "last_updated": last_updated_list})
166.             print("信息保持字典成成功~~~")
167.         except Exception as e:
168.             print("信息保持字典失败:"+e)
169.     print(f"获取信息成功，共获取 {n-1} 条信息")
171.     # print(road_info_dic)
172.     print("-"*120)
173.     info_df = pd.DataFrame(road_info_dic)
174.     print(f"{n1} 字头公交车所有线路信息为：")
175.     print(info_df)
176.     # 保存为csv文件（不同数字开头的公交车存为不同的文件，就是输入的数字）
177.     try:
178.         print("信息开始存入csv文件")
179.         progress()
180.         info_df.to_csv(os.path.join(os.getcwd(), 'files/') +
181.                        f"bus{n1}_info.csv", index=False, encoding='gbk')
182.         path = os.path.join(os.getcwd(), 'files')
183.         print("\n")
184.         print(f"保存csv文件成功,请在{path}文件夹下查看")
185.     except Exception as e:
186.         print("保存csv文件失败"+e)
189. get_every_raod_bus_info()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！