微博舆情数据分析（一）pandas + matplotlib 作图

这篇文章使用的数据基于博文 微博爬虫
重要涉及的技术是 pandas + matplotlib ，是常见的python的数据分析作图方法
1 统计代码天生excel

使用pandas天生excel数据

1. def init_data():
2.     df = pd.read_sql_query("SELECT * FROM tb_weibo", cnn)
3.     print('初始化数据完毕..')
4.     # 分割 topics 字段
5.     df['topics'] = df['topics'].str.split(',')
7.     # 扁平化 topics 字段
8.     df_exploded = df.explode('topics')
10.     # 统计 attitudes_count、comments_count、reposts_count 的和值
11.     summary_df = df_exploded.groupby('topics').agg({
12.         'attitudes_count': 'sum',
13.         'comments_count': 'sum',
14.         'reposts_count': 'sum',
15.         'keywords': 'first',  # 展示对应的 keywords 字段
16.         'label': 'count'  # 统计对应行数，取名为 total
17.     }).reset_index().rename(columns={'label': 'total'})
18.     # 统计负面文章的数量（label 等于 '消极' 的数量）
19.     negative_count_df = df_exploded[df_exploded['label'] == '消极'].groupby('topics').size().reset_index(
20.         name='native_count')
21.     # 统计用户的个数（去重）
22.     user_count_df = df_exploded.groupby('topics')['user_id'].nunique().reset_index(name='user_count')
23.     # 合并所有统计结果
24.     result_df = summary_df.merge(negative_count_df, on='topics', how='left').merge(user_count_df, on='topics',
25.                                                                                    how='left')
26.     # 替换 NaN 值为 0（如果有的话）
27.     result_df.fillna(0, inplace=True)
28.     # 根据 total 进行倒序排列
29.     result_df = result_df.sort_values(by=['total'], ascending=False)
30.     # 将结果保存为 Excel 文件
31.     result_df.to_excel('topic.xlsx', index=False)
32.     print('数据处理完毕，生成 topic.xlsx 文件')

复制代码

2 天生分析图

使用matplotlib天生柱状图和饼图

1. # 读取处理后的数据
2.     def analyze_chart1():
3.     # 读取处理后的数据
4.     result_df = pd.read_excel('topic.xlsx')
6.     # 确保 topics 列是字符串类型并处理 NaN 值
7.     result_df['topics'] = result_df['topics'].astype(str).fillna('未知主题')
9.     # 取前20个主题
10.     top_20_df = result_df.head(20)
12.     # 设置中文字体，确保能够显示中文字符
13.     matplotlib.rcParams['font.family'] = 'SimHei'  # 使用黑体
14.     matplotlib.rcParams['axes.unicode_minus'] = False  # 解决负号 '-' 显示为方块的问题
16.     # 1. 柱状图：分析各个关键词的文章条数 total 列
17.     plt.figure(figsize=(12, 6))
18.     plt.bar(top_20_df['topics'], top_20_df['total'], color='skyblue')
19.     plt.xlabel('主题')
20.     plt.ylabel('文章条数')
21.     plt.title('各个关键词的文章条数（前20）')
22.     plt.xticks(rotation=45, ha='right')  # 旋转 x 轴标签
23.     plt.tight_layout()
24.     plt.savefig('bar_chart_total.png')  # 保存图表
25.     plt.show()  # 显示图表
27.     # 2. 饼图：分析负面舆情 native_count 和 total
28.     sizes = [result_df['native_count'].sum(), result_df['total'].sum() - result_df['native_count'].sum()]
29.     labels = ['负面舆情', '其他舆情']
30.     plt.figure(figsize=(8, 8))
31.     plt.pie(sizes, labels=labels, autopct='%1.1f%%', startangle=140, colors=['tomato', 'lightgreen'])
32.     plt.title('负面舆情与其他舆情占比')
33.     plt.axis('equal')  # 使饼图为圆形
34.     plt.savefig('pie_chart_native_count.png')  # 保存图表
35.     plt.show()  # 显示图表

复制代码

3 执行结果

执行代码：

1. if __name__ == '__main__':
2.     init_data()
3.     analyze_chart1()

复制代码

天生的excel:

天生的分析图：
柱状图，我们使用到了蓝色的柱形，表示每个主题下的微博文章的数量的分列，只列出了前20的。

饼图，我们分析了负面的微博文章的比例，显示为红色，其他舆情（积极和中性）占97.8%。

4 小结

以上图形分析的是整体的数据情况，更多的时候我们希望分析的是某一个话题大概某一个关键词的舆情状况，以是必要添加查询参数，下一篇文章我们拓展更多的图形，并且添加关键词参数。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。