【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩"狂飙"的评论 ...

目录

• 一、背景介绍
  
• 二、爬虫代码
  
  
  
  • 2.1 展示爬取结果
    
  • 2.2 爬虫代码讲解
    
  
  
• 三、可视化代码
  
  
  
  • 3.1 读取数据
    
  • 3.2 数据清洗
    
  • 3.3 可视化
    
    
    
    • 3.3.1 IP属地分析-柱形图
      
    • 3.3.2 评论时间分析-折线图
      
    • 3.3.3 点赞数分布-直方图
      
    • 3.3.4 评论内容-情感分布饼图
      
    • 3.3.5 评论内容-词云图
      
    
    
  
  
• 四、演示视频
  
• 五、附完整源码
  

一、背景介绍

您好，我是@马哥python说，一枚10年程序猿。
2023开年这段时间，《狂飙》这部热播剧引发全民追剧，不仅全员演技在线，更是符合反黑主旋律，因此创下多个收视率记录！
基于此热门事件，我用python抓取了B站上千条评论，并进行可视化舆情分析，下面详细讲解代码。
二、爬虫代码

2.1 展示爬取结果

首先，看下部分爬取数据：

爬取字段含：视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容。
2.2 爬虫代码讲解

导入需要用到的库：

1. import requests  # 发送请求
2. import pandas as pd  # 保存csv文件
3. import os  # 判断文件是否存在
4. import time
5. from time import sleep  # 设置等待，防止反爬
6. import random  # 生成随机数

复制代码

定义一个请求头：

1. # 请求头
2. headers = {
3.     'authority': 'api.bilibili.com',
4.     'accept': 'application/json, text/plain, */*',
5.     'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
6.     # 需定期更换cookie，否则location爬不到
7.     'cookie': "需换成自己的cookie值",
8.     'origin': 'https://www.bilibili.com',
9.     'referer': 'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548',
10.     'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99"',
11.     'sec-ch-ua-mobile': '?0',
12.     'sec-ch-ua-platform': '"Windows"',
13.     'sec-fetch-dest': 'empty',
14.     'sec-fetch-mode': 'cors',
15.     'sec-fetch-site': 'same-site',
16.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47'
17. }

复制代码

请求头中的cookie是个很关键的参数，如果不设置cookie，会导致数据残缺或无法爬取到数据。
那么cookie如何获取呢？打开开发者模式，见下图：
​
由于评论时间是个十位数：
​
所以开发一个函数用于转换时间格式：

1. def trans_date(v_timestamp):
2.     """10位时间戳转换为时间字符串"""
3.     timeArray = time.localtime(v_timestamp)
4.     otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
5.     return otherStyleTime

复制代码

向B站发送请求：

1. response = requests.get(url, headers=headers, )  # 发送请求

复制代码

接收到返回数据了，怎么解析数据呢？看一下json数据结构：
​
0-19个评论，都存放在replies下面，replies又在data下面，所以，这样解析数据：

1. data_list = response.json()['data']['replies']  # 解析评论数据

复制代码

这样，data_list里面就是存储的每条评论数据了。
接下来吗，就是解析出每条评论里的各个字段了。
我们以评论内容这个字段为例：

1. comment_list = []  # 评论内容空列表
2. # 循环爬取每一条评论数据
3. for a in data_list:
4.     # 评论内容
5.     comment = a['content']['message']
6.     comment_list.append(comment)

复制代码

其他字段同理，不再赘述。
最后，把这些列表数据保存到DataFrame里面，再to_csv保存到csv文件，持久化存储完成：

1. # 把列表拼装为DataFrame数据
2. df = pd.DataFrame({
3.     '视频链接': 'https://www.bilibili.com/video/' + v_bid,
4.     '评论页码': (i + 1),
5.     '评论作者': user_list,
6.     '评论时间': time_list,
7.     'IP属地': location_list,
8.     '点赞数': like_list,
9.     '评论内容': comment_list,
10. })
11. # 把评论数据保存到csv文件
12. df.to_csv(outfile, mode='a+', encoding='utf_8_sig', index=False, header=header)

复制代码

注意，加上encoding='utf_8_sig'，否则可能会产生乱码问题！
下面，是主函数循环爬取部分代码：（支持多个视频的循环爬取）

1. # 随便找了几个"狂飙"相关的视频ID
2. bid_list = ['BV1Hx4y1E7QP', 'BV1Ev4y1r737', 'BV19x4y177ni']
3. # 评论最大爬取页（每页20条评论）
4. max_page = 50
5. # 循环爬取这几个视频的评论
6. for bid in bid_list:
7.     # 输出文件名
8.     outfile = 'b站评论_{}.csv'.format(now)
9.     # 转换aid
10.     aid = bv2av(bid=bid)
11.     # 爬取评论
12.     get_comment(v_aid=aid, v_bid=bid)

复制代码

三、可视化代码

为了方便看效果，以下代码采用jupyter notebook进行演示。
3.1 读取数据

用read_csv读取刚才爬取的B站评论数据：
​
查看前3行及数据形状：
​
3.2 数据清洗

处理空值及重复值：
​
3.3 可视化

3.3.1 IP属地分析-柱形图

​
可得结论：TOP10地区中，评论里关注度最高为广东、山东、江苏等地区，其中，广东省的关注度最高。
3.3.2 评论时间分析-折线图

分析出评论时间的分布情况：
​
可得结论：关于"狂飙"这个话题，在抓取到的数据范围内，2月2日的评论数据量最大，网友讨论最热烈，达到了将近1200的数量峰值。
3.3.3 点赞数分布-直方图


由于点赞数大部分为0或个位数情况，个别点赞数到达成千上万，直方图展示效果不佳，因此，仅提取点赞数