ToB企服应用市场:ToB评测及商务社交产业平台

标题: 简单的用Python抓取动态网页数据，实现可视化数据分析 [打印本页]

---

作者: 自由的羽毛    时间: 2024-1-9 17:09
标题: 简单的用Python抓取动态网页数据，实现可视化数据分析
一眨眼明天就周末了，一周过的真快！
今天咱们用Python来实现一下动态网页数据的抓取
最近不是有消息说世界首富马上要变成中国人了吗，这要真成了，可就是历史上首位中国世界首富了！
那我们就以富豪排行榜为例，爬取一下2023年国内富豪五百强，最后实现一下可视化分析。
准备工作

环境使用

• Python
  
• Pycharm
  

模块使用

• re 正则表达式
  
• csv  内置模块 保存数据
  
• requests >>> 数据请求
  
• pandas >>> 保存表格
  
• pyecharts >>> 可视化模块
  

实现流程:

数据来源分析

• 明确需求: 明确采集的网站以及数据内容
  - 目标网址
  
• 抓包分析: 通过浏览器自带工具 (开发者工具)
  - 打开开发者工具: F12 / 右键点检查选择network (网络)
  - 点击下一页按钮
  数据包地址
  

代码实现步骤

• 发送请求 -> 模拟浏览器对于url地址发送请求
  url地址: 分析找到链接地址
  
• 获取数据 -> 获取服务器返回响应数据
  
• 解析数据 -> 提取我们自己需要数据
  
• 保存数据 -> 保存到表格文件里面
  

代码解析

发送请求

1. for page in range(1, 35):
2.     print(f'{page}' * 20)
3.     # url地址: 请求网址
4.     url = f'https://service.ikuyu.cn/XinCaiFu2/pcremoting/bdListAction.do?method=getPage&callback=jsonpCallback&sortBy=assets&order=asc&type=4&keyword=&pageSize=15&year=2023&pageNo={page}&from=jsonp&_=1700739728273'
5.     # 模拟浏览器: 请求头
6.     headers = {
7.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
8.     }
9.     # 发送请求: 请求方法 <开发者工具>
10.     response = requests.get(url=url, headers=headers)

复制代码

 
获取数据

1. data = response.text

复制代码

 
解析数据
re.findall(‘匹配数据’, ‘数据源’) -> 从什么地方去获取什么数据

1. # json字符串数据
2. html = re.findall('jsonpCallback\((.*)', data)[0].replace(')', '')
3. print(html)
4. # 转成json字典 当你转json数据报错的时候 html不是完整json数据格式
5. json_data = json.loads(html)
6. # 键值对取值 提取 rows 列表 (根据冒号左边的内容[键], 提取冒号右边的内容[值])
7. rows = json_data['data']['rows']
8. # for循环遍历
9. for row in rows:

复制代码

 
创建文件对象

1. f = open('data.csv', mode='w', encoding='utf-8', newline='')
2. csv_writer = csv.DictWriter(f, fieldnames=[
3.     '财富',
4.     '姓名',
5.     '主要公司',
6.     '相关行业',
7.     '公司总部省份',
8.     '公司总部城市',
9.     '性别',
10.     '年龄',
11.     '年份',
12. ])
13. csv_writer.writeheader()

复制代码

 
保存数据

1. dit = {
2.     '财富': row['assets'],
3.     '姓名': row['name'],
4.     '主要公司': row['company'],
5.     '相关行业': row['industry'],
6.     '公司总部省份': row['addr'][:2],
7.     '公司总部城市': row['addr'][-2:],
8.     '性别': row['sex'],
9.     '年龄': row['age'],
10.     '年份': row['year'],
11. }
12. csv_writer.writerow(dit)
13. print(row)
14. # 源码+wei❤:python1018 领取

复制代码

 
采集数据+可视化代码我都打包好了，还有视频讲解，都在最后一段代码中。

效果展示



好了，本次分享就到这结束了，咱们下次见~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4