数据采集实战（六）-- 新浪新闻

1. 概述

新闻是我们了解外界的重要渠道，以前，我们一般通过报纸和电视来获取新闻，那时候，获取新闻不仅有一定的成本，效率还不高。
而如今，获取新闻的途径太多太方便了，大量重复的新闻充斥着各大平台，获取新闻已经没有什么成本，问题变成了过滤和鉴别新闻的可信程度。
下面用 【新浪新闻】 作为采集对象，抛砖引玉，演示下新闻从采集到分析的整个过程。
2. 采集流程

主要流程分为4个步骤：

2.1 采集

从新浪滚动新闻页面中，找出获取新闻的API，然后，并发的采集新闻。
这里为了简单起见，主要采集了新闻标题和摘要信息。

1. # -*- coding: utf-8 -*-
3. import requests
4. import csv
5. import time
6. import os
7. import threading
8. import math
10. host = "https://feed.mix.sina.com.cn/api/roll/get?pageid=153&lid=2509&k=&num=50&page={}"
13. class spiderThread(threading.Thread):
14.     def __init__(self, fname, delay, start_page, end_page):
15.         threading.Thread.__init__(self)
16.         self.fname = fname
17.         self.delay = delay
18.         self.start_page = start_page
19.         self.end_page = end_page
21.     def run(self):
22.         for page in range(self.start_page, self.end_page):
23.             time.sleep(self.delay)
24.             url = host.format(page)
25.             rows = _parse_html_content(url)
26.             _save_data(self.fname, rows)
27.             print("thead: {} 已采集 第【{}】页的数据".format(self.fname, page))
30. def spider(start_page=1, pages=50, concurrency=2):
31.     """ 采集数据
32.     并发采集 sina 滚动新闻数据
34.     Parameters:
35.       start_page - 采集开始的页数，默认从第1页开始采集
36.       pages - 采集的页数，默认采集500页
37.       concurrency - 并发采集的数量，默认4个线程采集
39.     Returns:
40.       采集结果写入文件
41.     """
43.     if pages < 0 or concurrency < 0:
44.         print("pages or concurrency must more than 0")
45.         return
47.     threads = []
48.     now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
49.     delta = math.ceil((pages - start_page + 1) / concurrency)
50.     for i in range(concurrency):
51.         end_page = delta + start_page
52.         if end_page > pages:
53.             end_page = pages + 1
55.         t = spiderThread("{}-{}".format(now_str, i + 1), 2, start_page, end_page)
56.         threads.append(t)
57.         t.start()
59.         start_page = end_page
61.     for t in threads:
62.         t.join()
64.     print("采集结束")
67. def _parse_html_content(url):
68.     """ parse html to csv row like: oid, intime, title, media_name, intro
69.     """
70.     response = requests.get(url)
71.     data = response.json()
72.     data = data["result"]["data"]
73.     rows = []
74.     for d in data:
75.         # print(d["oid"])
76.         # print(d["intime"])
77.         # print(d["title"])
78.         # print(d["media_name"])
79.         # print(d["intro"])
80.         rows.append([d["oid"], d["intime"], d["title"], d["media_name"], d["intro"]])
82.     return rows
85. def _save_data(filename, rows):
86.     fp = os.path.join("./data", filename + ".csv")
87.     print("fname {}: rows {}".format(filename, len(rows)))
88.     with open(fp, "a", encoding='utf-8') as f:
89.         writer = csv.writer(f)
90.         writer.writerows(rows)

复制代码

主要函数是：def spider(start_page=1, pages=50, concurrency=2)
可以设置采集的起始/结束页，以及并发采集的线程数。
新浪滚动新闻最多只提供了最近50页的新闻，大概4000多条新闻。
采集之后，默认会在 data文件夹下生成采集结果的 csv 文件（几个线程采集，就生成几个csv）
2.2 清理

清理数据主要将多线程采集的所有csv文件合并成一个，同时去重和按照时间排序。

1. # -*- coding: utf-8 -*-
3. import pandas as pd
4. import os
5. import time
8. def clean(data_dir="./data"):
9.     """ 清洗数据
10.     合并所有采集的数据文件，去除重复数据和不需要的字段
12.     Parameters:
13.       data - 采集数据的文件夹
15.     Returns:
16.       清理后的结果写入文件
17.     """
19.     data = _read_all_data(data_dir)
20.     data = _uniq_and_order(data)
22.     _write_clean_data(data_dir, data)
25. def _read_all_data(data_dir):
26.     all_data = []
27.     for f in os.listdir(data_dir):
28.         fp = os.path.join(data_dir, f)
29.         if os.path.isdir(fp):
30.             continue
32.         data = pd.read_csv(
33.             fp, names=["oid", "intime", "title", "media_name", "intro"], header=None,
34.         )
35.         all_data.append(data)
37.     return pd.concat(all_data, ignore_index=True)
40. def _uniq_and_order(data):
41.     data = data.drop_duplicates(keep="first")
42.     data = data.drop(columns=["oid", "intime", "media_name", "intro"])
43.     # data = data.sort_values(by=["intime"], ascending=False)
44.     return data
47. def _write_clean_data(data_dir, data):
48.     clean_data_dir = os.path.join(data_dir, "clean")
49.     if not os.path.exists(clean_data_dir):
50.         os.makedirs(clean_data_dir)
52.     now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
53.     data.to_csv(
54.         os.path.join(clean_data_dir, now_str + ".csv"), index=False, header=None
55.     )

复制代码

清理之后，所有新闻合并在一个文件中，只保留了【新闻标题】用来分析。
2.3 分词

新闻标题的文字是没有规律的，所以分析之前需要先分词。

1. # -*- coding: utf-8 -*-
3. import jieba.posseg as pseg
4. import pandas as pd
6. import os
7. import time
10. def split_word(fp, data_dir="./data"):
11.     """对标题进行分词
13.     Parameters:
14.       data_dir - 采集数据的文件夹
15.       fp - 待分词的文件
17.     Returns:
18.       分词后的结果写入文件
19.     """
21.     mdata = {}
22.     with open(fp, "r", encoding="utf-8") as f:
23.         total = len(f.readlines())
24.         count = 0
26.         f.seek(0)
27.         for line in f:
28.             count += 1
29.             print("解析进度[{}/{}]...".format(count, total))
30.             _jieba(line, mdata)
32.     total = len(mdata)
33.     count = 0
34.     data_list = []
35.     for word in mdata.keys():
36.         count += 1
37.         print("写入进度[{}/{}]...".format(count, total))
38.         data_list.append([word, mdata[word][0], mdata[word][1]])
40.     data = pd.DataFrame(data_list, columns=["单词", "词性", "数量"])
41.     _write_split_data(data_dir, data)
44. def _jieba(s, mdata):
45.     words = pseg.cut(s, HMM=True)
46.     for word, flag in words:
47.         if _check_flag(flag):
48.             if word not in mdata.keys():
49.                 mdata[word] = [flag, 0]
51.             mdata[word][1] += 1
53.     return mdata
56. def _write_split_data(data_dir, data):
57.     split_data_dir = os.path.join(data_dir, "jieba")
58.     if not os.path.exists(split_data_dir):
59.         os.makedirs(split_data_dir)
61.     now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
62.     data.to_csv(os.path.join(split_data_dir, now_str + ".csv"), index=False)
65. def _check_flag(flag):
66.     flags = ["n"]  # n-名词类，a-形容词类 v-动词类
68.     for fg in flags:
69.         if flag.startswith(fg):
70.             return True
72.     return False

复制代码

这里使用分词使用是 【结巴分词】库，并且只保留了新闻标题中的 【名词】。
2.4 分析绘图

最后是分析结果，为了快速获取新闻的有效信息，这一步必不可少。
这里只分析了【新闻标题】中的名词，所以这里就做了两张图，一张是高频词的柱状图，一张是词云图。

1. # -*- coding: utf-8 -*-
3. import pandas as pd
4. import os
5. import wordcloud
7. from prettytable import PrettyTable
8. import matplotlib
9. import matplotlib.pyplot as plt
11. # 为了显示中文
12. matplotlib.rcParams["font.sans-serif"] = ["Microsoft YaHei Mono"]
13. matplotlib.rcParams["axes.unicode_minus"] = False
15. cn_font_path = "D:\\miniconda3\\envs\\databook\\Lib\\site-packages\\matplotlib\\mpl-data\\fonts\\ttf\\Microsoft-Yahei-Mono.ttf"
18. def analysis(fp, data_dir="./data"):
19.     """分析数据
20.     根据分词结果分析结果
21.     """
23.     data = pd.read_csv(fp)
24.     # 过滤关键词长度为1的数据
25.     data = data[data["单词"].str.len() > 1]
27.     # 创建文件夹
28.     analy_data_dir = os.path.join(data_dir, "analy")
29.     if not os.path.exists(analy_data_dir):
30.         os.makedirs(analy_data_dir)
32.     # 显示前N个关键词
33.     N = 20
34.     _topN_table(data, N)
36.     # 高频词柱状图比较
37.     _topN_bar_graph(data, N, analy_data_dir)
39.     # 词云 图
40.     _word_cloud(data, analy_data_dir)
43. def _topN_table(data, n):
44.     tbl = PrettyTable()
46.     data = data.sort_values(by=["数量"], ascending=False)
48.     tbl.field_names = data.columns.values.tolist()
49.     tbl.add_rows(data.head(n).values.tolist())
51.     print(tbl)
54. def _topN_bar_graph(data, n, d):
55.     data = data.sort_values(by=["数量"], ascending=False)
56.     data = data.head(n)
58.     y = list(data["数量"])
59.     plt.bar(range(n), height=y, tick_label=range(1, n + 1), color=["b", "c", "g", "m"])
60.     plt.xticks(range(n), data["单词"])
62.     fig = plt.gcf()
63.     fig.set_size_inches(15, 5)
65.     plt.savefig(os.path.join(d, "bar.png"))
68. def _word_cloud(data, d):
69.     w = wordcloud.WordCloud(
70.         width=800, height=600, background_color="white", font_path=cn_font_path
71.     )
73.     # 词频大于N的单词才展示
74.     N = 5
75.     data = data[data["数量"] > N]
77.     dic = dict(zip(list(data["单词"]), list(data["数量"])))
78.     w.generate_from_frequencies(dic)
80.     w.to_file(os.path.join(d, "word_cloud.png"))

复制代码

注意，这里为了显示中文，我引入了自己的字体（Microsoft-Yahei-Mono.ttf），你也可以换成任何能够显示中文的字体。
3. 总结

其实，上面的功能主要就是找出新闻中的高频词，从而可以看看公众最近关注最多的是哪方面。
虽然简单，但是麻雀虽小五脏俱全，整个流程是完备的，有兴趣的话，每个流程中的细节可以继续丰富。
代码运行的最终结果如下：（运行时间：2022-07-29  中午12点多，新闻是不断更新的，不同时间采集的话，运行结果会不一样）


4. 注意事项

爬取数据只是为了研究学习使用，本文中的代码遵守：

• 如果网站有 robots.txt，遵循其中的约定
  
• 爬取速度模拟正常访问的速率，不增加服务器的负担
  
• 只获取完全公开的数据，有可能涉及隐私的数据绝对不碰
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！