什么?fei lu被python采集拉~(含完整源代码)

打印 上一主题 下一主题

主题 854|帖子 854|积分 2562

前言

嗨喽,大家好呀~这里是爱看美女的茜茜呐
环境使用:


  • Python 3.8
  • Pycharm
[模块使用]:


  • requests >>> 数据请求模块
  • parsel >>> 数据解析模块
  • re 正则表达式
在CMD里面进行安装 输入安装命令 pip install 模块名
思路基本流程:

一. 分析我们想要数据内容 来自于哪里

F12 开发者工具进行抓包分析

  • 打开 F12 或者 鼠标右键点击检查 刷新网页
  • 点击搜索按钮, 输入搜索内容, 点击回车 找到数据包
请求 网址, 就可以得到我们想要内容
二. 代码实现的步骤过程:


  • 发送请求, 模拟浏览器对于 发送请求
  • 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response
  • 解析数据, 提取我们想要数据内容, 章节名字
  • 保存数据, 保存本地文件
采集一章免费的 ---> 采集多章免费
采集多页数据内容, 多个数据内容 ---> 去分析请求url参数变化
并不是完整等差数列 --> 有点点没有规律 就去目录页面抓包, 分析一下我们想要章节url有没有
代码

导入模块
  1. # 导入数据请求模块 ---> 第三方模块 需要安装 pip install requests
  2. import requests
  3. # 导入数据解析模块 ---> 第三方模块 需要安装 pip install parsel
  4. import parsel
  5. # 导入获取VIP章节代码
  6. import Vip
  7. # 导入图片文字识别代码
  8. import spot
  9. # 导入os模块
  10. import os
复制代码
更多资料获取加Q裙:261823976 点击蓝字加入【python学习裙】




尾语
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

悠扬随风

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表