爬虫案例-爬取网页图片

1、安装依赖库

1. #以下是安装http请求的第三方库
2. pip install requests urllib3  
3. #以下是安装处理图片的第三方库
4. pip install image pillow
5. #以下是安装python解析html的第三方库
6. pip install beautifulsoup4

复制代码

2、爬取图片的代码

1. import requests
2. import urllib3
3. import urllib.parse
4. import os
5. from io import BytesIO
6. from PIL import Image
7. from bs4 import BeautifulSoup
9. url = "URL"
11. http = urllib3.PoolManager()
12. header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"}
13. request = http.request('POST', url, headers=header)
15. '''以下测试用的
16. #响应数据
17. #print(request.data.decode())
18. #响应头信息
19. #print(request.headers)
20. #状态码
21. #print(request.status)
22. '''
24. data = request.data.decode()
25. #print(data)
26. soup = BeautifulSoup(data,"html.parser")
28. # 查找所有<img>标签
29. i = 0
30. for img_tag in soup.find_all("img"):
31.     i += 1
32.     image_url = img_tag.get("src")
33.     #print(image_url)
34.     output_folder = r"C:\Users\zzx\Desktop\图片"+"/"
35.     if not os.path.exists(output_folder):
36.         os.makedirs(output_folder)
37.         #print(image_url)
38.     if image_url:
39.         # 将可能的相对 URL 转换为完整的 URL
40.         image_url_http = urllib.parse.urljoin(url,image_url)
41.         #print(image_url_http)
42.         resp = requests.get(image_url_http,stream=True)
43.       #print(resp)
44.     try:
45.         image_data = BytesIO(resp.content)
46.       #print(image_data)
47.         image = Image.open(image_data)
48.         if '.gif' not in  image_url_http.split("/")[-1]:
49.             image.save(os.path.join(output_folder, f'image_{i}.png'))
50.             print(f"图像已成功保存到 {os.path.join(output_folder, f'image_{i}.png')}")
51.         elif '.gif' in image_url_http.split("/")[-1]:
52.             image.save(os.path.join(output_folder, f'image_{i}.gif'))
53.             print(f"图像已成功保存到 {os.path.join(output_folder, f'image_{i}.gif')}")
54.     except Exception as e :
55.         print(f"保存图像时出错:{e}")
56.         try:
57.             # 将图像转换为常见的 JPEG 格式
58.             if image.mode in ('RGBA', 'LA'):
59.                 image = image.convert('RGB')
60.             image.save(os.path.join(output_folder, f'image_{i}.jpg'))
61.             print(f"图像已成功保存到 {os.path.join(output_folder, f'image_{i}.jpg')}")
62.         except Exception as e:
63.           print(f"转换并保存图像时出错: {e}")
64.     print(i,image_url)

复制代码

3、结果图

      

      

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。