python对王者荣耀英雄皮肤进行图片采集~

前言

嗨喽~大家好呀，这里是魔王呐
环境使用:

• Python 3.8
  
• Pycharm
  

模块使用:

• requests ---> 数据请求模块 需要安装 pip install requests
  
• re 正则表达式 内置模块 不需要安装
  
• os 文件操作模块 内置模块 不需要安装 --> 自动创建文件夹 把每个英雄都自动创建对应文件
  

基本套路

一. 数据来源分析

• 确定需求, 确定采集目标
  
• 通过开发者工具抓包分析, 分析我们想要数据内容来自于那个url地址
  

• F12 或者 鼠标右键点击检查 选择 network(网络) 刷新网页
  
• 去分析图片url地址是什么 ---> 选择 Img 可以查找图片url地址
  

505 表示英雄ID
2 皮肤第几个 ---> 通过皮肤名字对应他的皮肤链接
想要获取 yao 皮肤数据

• 向网址发送请求
  
• 获取response响应数据
  
• 提取皮肤名字
  
• 构建 皮肤 url地址
  
• 保存数据
  

二. 代码实现步骤

• 发送请求, 模拟浏览器对于url地址发送请求
  
• 获取数据, 获取服务器返回响应数据
  
• 解析数据, 提取我们想要内容, 皮肤名字
  
• 保存数据, 数据保存本地
  

代码

1. # 导入数据请求模块  ---> 第三方模块 需要 在cmd里面进行安装 pip install requests
2. import requests
3. # 导入正则模块  ---> 内置模块 不需要安装
4. import re
5. # 导入文件操作模块  ---> 内置模块 不需要安装
6. import os
8. # 确定网址
9. link = 'https://pvp.qq.com/web201605/js/herolist.json'
10. # 模拟伪装浏览器 ---> 请求头
11. headers = {
12.     # user-agent 用户代理 表示浏览器基本身份标识
13.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
14. }
15. # 发送请求
16. json_data = requests.get(url=link, headers=headers).json()
17. # for循环遍历
18. for index in json_data:
19.     # 字典键值对取值 根据冒号左边的内容[键],提取冒号右边的内容[值]
20.     hero_id = index['ename']
21.     hero_name = index['cname']
22.     # 设定文件夹路径 相对路径
23.     file = f'img\\{hero_name}\\'
24.     if not os.path.exists(file):
25.         os.makedirs(file)
26.     """
27.     1. 发送请求, 模拟浏览器对于url地址发送请求
28.         - headers 字典数据类型, 构建完整键值对
29.         - 请求头参数 可以直接在开发者工具复制粘贴
30.         - 使用什么请求方法, 根据开发者工具来
31.     """
32.     # 确定请求url地址
33.     url = f'https://pvp.qq.com/web201605/herodetail/{hero_id}.shtml'
34.     # 模拟伪装浏览器 ---> 请求头
35.     headers = {
36.         # user-agent 用户代理 表示浏览器基本身份标识
37.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
38.     }
39.     # 发送请求 ---> <Response [200]> 响应对象: <>表示对象 response 响应回复 200 状态码 表示请求成功
40.     response = requests.get(url=url, headers=headers)
41.     # 乱码了 怎么办? ---> 你要根据网页编码来 response.encoding = 'gbk'
42.     # 自动识别编码
43.     response.encoding = response.apparent_encoding
44.     # 获取数据, 获取服务器返回响应数据 文本数据 print(response.text)
45.     """
46.     解析数据 re正则  会1 不会2
47.         re.findall()  从什么地方 去找什么数据
48.         从 response.text 里面 去找 data-imgname="(.*?)"> 其中 (.*?) 就是我们要的数据
49.     """
50.     title_list = re.findall('data-imgname="(.*?)">', response.text)[0]
51.     # 鹿灵守心&0|森&0|遇见神鹿&71|时之祈愿&94|时之愿境&42
52.     title_list = re.sub('&\d+', '', title_list).split('|')
53.     print(title_list)
54.     # for循环 for num in range(1, 6): len() 统计列表元素个数
55.     for num in range(1, len(title_list) +1):
56.         # 列表取值, 根据索引位置,索引位置从0开始计数
57.         img_name = title_list[num-1]
58.         # 构建图片url地址
59.         img_url = f'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{num}.jpg'
60.         print(img_name, img_url)
61.         # 保存数据 ---> 发送请求 获取数据 二进制数据
62.         img_content = requests.get(url=img_url, headers=headers).content
63.         with open(file + img_name + '.jpg', mode='wb') as f:
64.             f.write(img_content)

复制代码

 
 

 
 
 
 
 
 
 
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！