【Python】简单的爬虫抓取

结果：抓取某个学校网站的传授名录，并获取研究方向。
由于网站使用的都是明文，所以抓起来没什么难度，且寻常访问量小，很值得用来训练。

代码如下，解释请见解释

1. import time
3. import requests
4. from bs4 import BeautifulSoup
6. # 创建一个包含浏览器头部信息的字典，模拟浏览器，可以骗过一些简单的反爬虫网站
7. headers = {
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
9.         # 可以根据需要添加更多的头部信息，比如：
10.         # 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
11.         # 'Accept-Language': 'en-US,en;q=0.5',
12.         # 'Accept-Encoding': 'gzip, deflate, br',
13.         # 'DNT': '1', # Do Not Track 请求头表明用户不希望被追踪
14.         # 'Connection': 'keep-alive',
15.         # 'Upgrade-Insecure-Requests': '1',
16.         # 如果需要处理cookies，也可以在这里设置'Cookie'字段
17.         # 'Cookie': 'your_cookie_here',
18. }
21. # 获取教师信息
22. def request_teacher_info(url):
23.         # 发送GET请求，并带上headers
24.         response = requests.get(url, headers=headers)
25.         content = response.content.decode('utf-8')
27.         # 确保请求成功
28.         if response.status_code == 200:
29.                 soup = BeautifulSoup(content, 'html.parser')
30.                 # 抓取div标签下，class为infobox的标签
31.                 infobox_div = soup.find('div', class_='infobox')
32.                 # 抓取span标签，class为'h_info'，并且包含"姓名"字样
33.                 name_span = infobox_div.find('span', class_='h_info', string='姓名：')
34.                 # 抓取"姓名"字样后一个字样，即实际姓名
35.                 name = name_span.find_next_sibling('span').get_text(strip=True)
36.                 # 同样的方法抓研究方向，想继续抓，还有邮箱，发表论文这些，都是一样的套路
37.                 research_direction_span = infobox_div.find('span', class_='h_info', string='研究方向：')
38.                 research_direction = research_direction_span.find_next_sibling('span').get_text(strip=True)
39.                 print(f"{name}  研究方向：{research_direction}")
40.         else:
41.                 print(f"请求失败，状态码为：{response.status_code}")
44. # 获取教师列表
45. def request_teacher_list(url):
46.         # 发送GET请求，并带上headers
47.         response = requests.get(url, headers=headers)
48.         content = response.content.decode('utf-8')
49.         link_list = []
50.         # 确保请求成功
51.         if response.status_code == 200:
52.                 # 使用BeautifulSoup解析HTML内容
53.                 soup = BeautifulSoup(content, 'html.parser')
55.                 right_list_r = soup.find('div', class_='right-list r')
56.                 # 教师列表
57.                 teacher_lists = right_list_r.find_all('div', class_='teacher-list')
58.                 for teacher_list in teacher_lists:
59.                         job_type = teacher_list.find("h2", class_="title l")
60.                         # 这些打印信息可以忽略，重要信息已在request_teacher_info()中展示
61.                         print(job_type.get_text(strip=True))
62.                         professor_ul = teacher_list.find_all('ul')[0]
63.                         a_list = professor_ul.find_all('a', href=True)
65.                         for a in a_list:
66.                                 link = a['href']
67.                                 link_list.append(link)
68.                                 print(link)
69.                         print("=" * 50)
70.         return link_list
73. link_list1 = request_teacher_list("https://example.com")
74. for link in link_list1:
75.         request_teacher_info(link)
76.         # time.sleep(0.5)

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。