IT评测·应用市场-qidao123.com

标题: Python爬虫：批量采集58同城数据，进行可视化分析！ [打印本页]

---

作者: 瑞星    时间: 2023-5-27 14:48
标题: Python爬虫：批量采集58同城数据，进行可视化分析！
哈喽大家好，今天我们来获取一下某个生活平台网站数据，进行可视化分析。
采集58的数据可以使用Python的requests库和beautifulsoup库，数据可视化分析可以使用matplotlib库和seaborn库。下面是一个简单的例子：
1、首先导入需要使用的模块

1. import requests
2. from bs4 import BeautifulSoup
3. import matplotlib.pyplot as plt
4. import seaborn as sns

复制代码

 
2、设置请求头，模拟浏览器请求。

1. headers = {
2.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

复制代码

 
3、发送请求获取页面

1. url = 'https://bj.58.com/pinpaigongyu/pn/{page}/?minprice=2000_4000'
2. house_data = []
3. for page in range(1, 3):
4.     res = requests.get(url.format(page=page), headers=headers)
5.     soup = BeautifulSoup(res.text, 'html.parser')

复制代码

 
4、解析页面获取数据

1. house_list = soup.select('.list > li')
2. for house in house_list:
3.     house_title = house.select('.title a')[0].string
4.     house_location = house.select('.add > a')[0].string.strip()
5.     house_price = house.select('.money > b')[0].string
6.     house_data.append({'title': house_title, 'location': house_location, 'price': house_price})

复制代码

 
5、数据可视化分析

1. df = pd.DataFrame(house_data)
2. # Python学习交流扣裙：708525271
3. df['price'] = df['price'].astype(int)
4. df['location'] = df['location'].apply(lambda x: x.split('-')[0])
5. sns.boxplot(x='location', y='price', data=df)
6. plt.show()

复制代码

 
这个例子以北京地区的品牌公寓为例，爬取了两页的房源数据，并使用箱线图对不同地区的房价进行了可视化分析。
需要注意的是，58的反爬比较严重，访问多了直接封IP。

我还给大家准备了25个非常实用的Python爬虫项目，帮助大家更好的学习爬虫。大家也可根据项目的需求，自己构建解决方法，提高编程水平。全套的python自学视频以及项目，已经打包完毕，在前面数据可视化代码中有直接拿走学习的方式！

 
好了今天的分享就到这结束了，大家下次见！


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4