学习爬虫的第二天——分页爬取并存入表中

阅读提示：我现在还在尝试爬静态页面
一、分页爬取模式

以豆瓣Top250为例：

• 根本url:豆瓣影戏 Top 250
  
  https://movie.douban.com/top250
  
• 分页参数:?start=0（第一页）、?start=25（第二页）等
  
• 每页显示25条数据，共10页
  

二、数据存取

Excel文件存储

• pandas
  
• openpyxl
  

2.1 openpyxl基本操纵

1. from openpyxl import Workbook
3. # 创建新工作簿
4. wb = Workbook()
6. # 获取活动工作表(默认创建的第一个工作表)
7. ws = wb.active
9. # 创建新工作表
10. ws1 = wb.create_sheet("MySheet1")  # 默认插入到最后
11. ws2 = wb.create_sheet("MySheet2", 0)  # 插入到第一个位置
13. # 重命名工作表
14. ws.title = "New Title"
15. # 保存工作簿
16. wb.save("example.xlsx")
18. # 加载现有工作簿
19. from openpyxl import load_workbook
20. wb = load_workbook("example.xlsx")
21. # 写入数据
22. ws['A1'] = "Hello"  # 单个单元格
23. ws.cell(row=1, column=2, value="World")  # 行列指定
25. # 读取数据
26. print(ws['A1'].value)  # 输出: Hello
27. print(ws.cell(row=1, column=2).value)  # 输出: World
29. # 批量写入
30. for row in range(1, 11):
31.     for col in range(1, 5):
32.         ws.cell(row=row, column=col, value=row*col)

复制代码

三、爬取代码

1. import requests
2. from bs4 import BeautifulSoup
3. from openpyxl import Workbook
4. import time
6. headers = {
7.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
8.     }
9. def GetFilm():
10.     base_url="https://movie.douban.com/top250"
11.     movies = []
12.     for start in range(0,250,25):
13.         url=f"{base_url}?start={start}"
14.         print(f"正在爬取: {url}")
15.         try:
16.             res=requests.get(url,headers=headers)
17.             soup=BeautifulSoup(res.text,'html.parser')
18.             items=soup.find_all('div',class_="item")
19.             for item in items:
20.                 rank=item.find('em').text
21.                 title=item.find('span',class_='title').text
22.                 rating = item.find('span', class_='rating_num').text
23.                 quote = item.find('p', class_='quote').text if item.find('p', class_='quote') else ""
25.                 movies.append([
26.                     rank,title,rating,quote
27.                 ])
28.             #添加延迟
29.             time.sleep(2)
30.         except Exception as e:
31.              print(f"爬取{url}时出错: {e}")
32.              continue
34.     return movies  # 确保返回列表
35. top_movies=GetFilm()
36. # 创建Excel工作簿
37. wb = Workbook()
38. ws = wb.active
40. # 添加表头
41. headers = ['排名', '电影名称', '评分', '短评']
42. ws.append(headers)
44. # 添加数据
45. for movie in top_movies:
46.     ws.append(movie)
48. # 保存Excel文件
49. excel_file = 'douban_top250_openpyxl.xlsx'
50. wb.save(excel_file)
51. print(f"数据已成功保存到 {excel_file}")

复制代码

结果：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。