python带你采集桌游、剧本杀游戏店数据信息~

前言

嗨喽~大家好呀，这里是魔王呐 !
又是学习的一天，让我们开始叭~
环境使用:

• Python 3.8
  
• Pycharm
  

模块使用:

• requests >>> pip install requests
  
• re
  
• csv
  

如果安装python第三方模块:

• win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
  
• 在pycharm中点击Terminal(终端) 输入安装命令
  

基本流程思路:

一. 数据来源分析

• 抓包分析我们想要数据内容, 请求的那个网站 url地址得到
  
• F12 或者 鼠标右键点击检查选择network, 点击第二页
  
• 选中xhr 第一个数据包就是我们想要的内容
  用到开发者工具搜索功能
  

二. 代码实现步骤过程: 固定四大步骤

• 发送请求, 对于刚刚分析得到url地址发送请求
  
• 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response
  
• 解析数据, 提取我们想要数据内容 ---> 店铺基本信息
  
• 保存数据, 保存数据, 保存表格里面
  
• 多页数据采集
  

多页数据采集 ---> 循环 for
分析请求url地址参数变化
采集代码

1. # 导入数据请求模块 ---> 第三方模块 需要 pip install requests
2. import requests
3. # 导入格式化输出模块 --> 内置模块 不需要安装
4. from pprint import pprint
5. # 导入csv模块 --> 内置模块 不需要安装
6. import csv
7. # 导入时间模块 --> 内置模块 不需要安装
8. import time
9. # 导入正则模块 --> 内置模块 不需要安装
10. import re

复制代码

1. # 3. 发送请求
2. html_data = requests.get(url=link, headers=headers).text
3. # 4. 获取数据print(html_data)
4. """
5. 5. 解析数据, re正则 会用 1 不会 2
6. re.findall() 找到所有我们想要数据
7. 告诉程序: 从什么地方 去找什么数据
8. 从 html_data  去找 "address":"(.*?)","phone":"(.*?)","openTime":"(.*?)", 这段内容
9. 其中 (.*?) 就是我们要的数据
10. """
11. shop_info = re.findall('"address":"(.*?)","phone":"(.*?)","openTime":"(.*?)",', html_data)[0]
12. print(shop_info)
13. # shop_info 元组 ---> [0] 根据索引位置取值 / 计数从0开始计数
14. address = shop_info[0]
15. # [1] 什么意思?
16. phone = shop_info[1]
17. # replace 是什么 字符串替换方法 把 \\n 替换 空的  \<转义字符串> \n 还换行符
18. openTime = shop_info[2].replace('\\n', '')
19. print(address, phone, openTime)
21. # 创建文件 相对路径 你代码在哪里 文件就写在哪里
22. f = open('男人的小秘密多页.csv', mode='a', encoding='utf-8', newline='')
23. # 字典写入 f ---> 文件对象 fieldnames 字段名 表头表格第一行内容
24. csv_writer = csv.DictWriter(f, fieldnames=[
25.     '店铺',
26.     '店铺类型',
27.     '商圈',
28.     '人均消费',
29.     '最低消费',
30.     '评分',
31.     '评论',
32.     '纬度',
33.     '经度',
34.     '详情页',
35. ])
36. # 写入表头
37. csv_writer.writeheader()

复制代码

• 发送请求, 模拟浏览器发送请求
  代码都是可以复制粘贴
  

• 长链接可以分段写入
  
• 批量替换 ---> 批量添加引号和逗号
  1.选中替换内容
  2.按 ctrl + R
  3.勾选上.* 输入正则命令
  

1. (.*?): (.*)
2. '$1': '$2',

复制代码

• 如果当你请求网站, 被反爬的时候
  

一种最简单反反爬手段, 用headers请求头伪装成浏览器去发送请求

1.     # 发送请求
2.     response = requests.get(url=url, params=data, headers=headers)
3.     # <Response [403]>: 整体表示响应对象 403状态码 表示 没有访问权限
4.     # <Response [200]> 200 状态码表示请求成功 print(response)
5.     # 2. 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response --> response.json() 获取响应对象json字典数据 print(response.json())
6.     # 3. 解析数据, 提取我们想要的数据内容 ---> 字典取值: 键值对取值 <根据冒号左边的内容[键], 提取冒号右边的内容[值]>
7.     for index in response.json()['data']['searchResult']:  # for循环遍历, 把列表里面元素一个一个提取出来

复制代码

1.         # 写入数据
2.         csv_writer.writerow(dit)
3.         print(dit)

复制代码

可视化代码

1. import pandas as pd
2. import numpy as np
3. from pyecharts.charts import *
4. from pyecharts import options as opts
5. from pyecharts.globals import ThemeType  #引入主题
6. df = pd.read_csv('武汉桌游多页.csv',encoding='utf-8',engine="python")
7. df.sample(5)

复制代码

[code]df.info()df = df.fillna('暂无数据')cut = lambda x : '一般' if x