悠扬随风 发表于 2022-9-16 17:20:24

什么?fei lu被python采集拉~(含完整源代码)

前言

嗨喽,大家好呀~这里是爱看美女的茜茜呐
https://img-blog.csdnimg.cn/6d733e79317e4968a22be5470c37a466.gif环境使用:


[*]Python 3.8
[*]Pycharm
[模块使用]:


[*]requests >>> 数据请求模块
[*]parsel >>> 数据解析模块
[*]re 正则表达式
在CMD里面进行安装 输入安装命令 pip install 模块名
思路基本流程:

一. 分析我们想要数据内容 来自于哪里

F12 开发者工具进行抓包分析

[*]打开 F12 或者 鼠标右键点击检查 刷新网页
[*]点击搜索按钮, 输入搜索内容, 点击回车 找到数据包
请求 网址, 就可以得到我们想要内容
二. 代码实现的步骤过程:


[*]发送请求, 模拟浏览器对于 发送请求
[*]获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response
[*]解析数据, 提取我们想要数据内容, 章节名字
[*]保存数据, 保存本地文件
采集一章免费的 ---> 采集多章免费
采集多页数据内容, 多个数据内容 ---> 去分析请求url参数变化
并不是完整等差数列 --> 有点点没有规律 就去目录页面抓包, 分析一下我们想要章节url有没有
代码

导入模块
# 导入数据请求模块 ---> 第三方模块 需要安装 pip install requests
import requests
# 导入数据解析模块 ---> 第三方模块 需要安装 pip install parsel
import parsel
# 导入获取VIP章节代码
import Vip
# 导入图片文字识别代码
import spot
# 导入os模块
import os更多资料获取加Q裙:261823976 点击蓝字加入【python学习裙】
https://img-blog.csdnimg.cn/28be931355e94f6ca8470d72b235aa5a.gif
https://img-blog.csdnimg.cn/3bc7d3dde8a7415cb0eb42a390acacde.png
https://img-blog.csdnimg.cn/16a0eeb9c4e24a4b836ba11f1165a5ff.png
https://img-blog.csdnimg.cn/6ea23c98855b453892d932a745f115cd.png
https://img-blog.csdnimg.cn/49211d431152445e9b8a659c48608e99.png尾语
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页: [1]
查看完整版本: 什么?fei lu被python采集拉~(含完整源代码)