增补博客 第九篇 python 图书评论数据分析与可视化

【标题形貌】豆瓣图书评论数据爬取。以《平常的天下》、《都挺好》等为分析对象，编写程序爬取豆瓣读书上针对该图书的短评信息，要求：

（1）对前3页短评信息进行跨页连续爬取；

（2）爬取的数据包含用户名、短评内容、评论时间、评分和点赞数（有效数）；

（3）能够根据选择的排序方式（热门或最新）进行爬取，并分别针对热门和最新排序，输出前10位短评信息（包括用户名、短评内容、评论时间、评分和点赞数）。

（4）根据点赞数的多少，按照从多到少的顺序将排名前10位的短评信息输出；

（5附加）联合中文分词和词云天生，对前3页的短评内容进行文本分析：按照词语出现的次数从高到低排序，输出前10位排序结果；并天生一个属于自己的词云图形。
【练习要求】请给出源代码程序和运行测试结果，源代码程序要求添加必要的解释。
 

1. import re
2. from collections import Counter
4. import requests
5. from lxml import etree
6. import pandas as pd
7. import jieba
8. import matplotlib.pyplot as plt
9. from wordcloud import WordCloud
11. headers = {
12.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39"
13. }
15. comments = []
16. words = []
19. def regex_change(line):
20.     # 前缀的正则
21.     username_regex = re.compile(r"^\d+::")
22.     # URL，为了防止对中文的过滤，所以使用[a-zA-Z0-9]而不是\w
23.     url_regex = re.compile(r"""
24.         (https?://)?
25.         ([a-zA-Z0-9]+)
26.         (\.[a-zA-Z0-9]+)
27.         (\.[a-zA-Z0-9]+)*
28.         (/[a-zA-Z0-9]+)*
29.     """, re.VERBOSE | re.IGNORECASE)
30.     # 剔除日期
31.     data_regex = re.compile(u"""        #utf-8编码
32.         年 |
33.         月 |
34.         日 |
35.         (周一) |
36.         (周二) |
37.         (周三) |
38.         (周四) |
39.         (周五) |
40.         (周六)
41.     """, re.VERBOSE)
42.     # 剔除所有数字
43.     decimal_regex = re.compile(r"[^a-zA-Z]\d+")
44.     # 剔除空格
45.     space_regex = re.compile(r"\s+")
46.     regEx = "[\n”“|,，；;''/?! 。的了是]"  # 去除字符串中的换行符、中文冒号、|，需要去除什么字符就在里面写什么字符
47.     line = re.sub(regEx, "", line)
48.     line = username_regex.sub(r"", line)
49.     line = url_regex.sub(r"", line)
50.     line = data_regex.sub(r"", line)
51.     line = decimal_regex.sub(r"", line)
52.     line = space_regex.sub(r"", line)
53.     return line
56. def getComments(url):
57.     score = 0
58.     resp = requests.get(url, headers=headers).text
59.     html = etree.HTML(resp)
60.     comment_list = html.xpath(".//div[@class='comment']")
61.     for comment in comment_list:
62.         status = ""
63.         name = comment.xpath(".//span[@class='comment-info']/a/text()")[0]  # 用户名
64.         content = comment.xpath(".//p[@class='comment-content']/span[@class='short']/text()")[0]  # 短评内容
65.         content = str(content).strip()
66.         word = jieba.cut(content, cut_all=False, HMM=False)
67.         time = comment.xpath(".//span[@class='comment-info']/a/text()")[1]  # 评论时间
68.         mark = comment.xpath(".//span[@class='comment-info']/span/@title")  # 评分
69.         if len(mark) == 0:
70.             score = 0
71.         else:
72.             for i in mark:
73.                 status = str(i)
74.             if status == "力荐":
75.                 score = 5
76.             elif status == "推荐":
77.                 score = 4
78.             elif status == "还行":
79.                 score = 3
80.             elif status == "较差":
81.                 score = 2
82.             elif status == "很差":
83.                 score = 1
84.         good = comment.xpath(".//span[@class='comment-vote']/span[@class='vote-count']/text()")[0]  # 点赞数（有用数）
85.         comments.append([str(name), content, str(time), score, int(good)])
86.         for i in word:
87.             if len(regex_change(i)) >= 2:
88.                 words.append(regex_change(i))
91. def getWordCloud(words):
92.     # 生成词云
93.     all_words = []
94.     all_words += [word for word in words]
95.     dict_words = dict(Counter(all_words))
96.     bow_words = sorted(dict_words.items(), key=lambda d: d[1], reverse=True)
97.     print("热词前10位：")
98.     for i in range(10):
99.         print(bow_words[i])
100.     text = ' '.join(words)
102.     w = WordCloud(background_color='white',
103.                      width=1000,
104.                      height=700,
105.                      font_path='simhei.ttf',
106.                      margin=10).generate(text)
107.     plt.show()
108.     plt.imshow(w)
109.     w.to_file('wordcloud.png')
112. print("请选择以下选项:")
113. print("   1.热门评论")
114. print("   2.最新评论")
115. info = int(input())
116. print("前10位短评信息：")
117. title = ['用户名', '短评内容', '评论时间', '评分', '点赞数']
118. if info == 1:
119.     comments = []
120.     words = []
121.     for i in range(0, 60, 20):
122.         url = "https://book.douban.com/subject/10517238/comments/?start={}&limit=20&status=P&sort=new_score".format(
123.             i)  # 前3页短评信息（热门）
124.         getComments(url)
125.     df = pd.DataFrame(comments, columns=title)
126.     print(df.head(10))
127.     print("点赞数前10位的短评信息：")
128.     df = df.sort_values(by='点赞数', ascending=False)
129.     print(df.head(10))
130.     getWordCloud(words)
131. elif info == 2:
132.     comments = []
133.     words=[]
134.     for i in range(0, 60, 20):
135.         url = "https://book.douban.com/subject/10517238/comments/?start={}&limit=20&status=P&sort=time".format(
136.             i)  # 前3页短评信息（最新）
137.         getComments(url)
138.     df = pd.DataFrame(comments, columns=title)
139.     print(df.head(10))
140.     print("点赞数前10位的短评信息：")
141.     df = df.sort_values(by='点赞数', ascending=False)
142.     print(df.head(10))
143.     getWordCloud(words)

复制代码

　　

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。