一条爬虫抓取一个小网站所有数据

一条爬虫抓取一个小网站所有数据

​        今天闲来无事，写一个爬虫来玩玩。在网上冲浪的时候发现了一个搞笑的段子网，发现里面的内容还是比较有意思的，于是心血来潮，就想着能不能写一个Python程序，抓取几条数据下来看看，一不小心就把这个网站的所有数据都拿到了。

​        这个网站主要的数据都是详情在HTML里面的，可以采用lxml模块的xpath对HTML标签的内容解析，获取到自己想要的数据，然后再保存在本地文件中，整个过程是一气呵成的。能够抓取到一页的数据之后，加一个循环就可以抓取到所有页的数据，下面的就是数据展示。

废话少说，直接上Python代码

1. import requests
2. import csv
3. from lxml import etree
4. import time
7. class Page:
9.     def __init__(self):
10.         self.pre_url = "https://www.biedoul.com"
11.         self.start_page = 1
12.         self.end_page = 15233
14.     def askHTML(self, current_page, opportunity):
15.         print(
16.             "=============================== current page => " + str(current_page) + "===============================")
17.         try:
19.             pre_url = self.pre_url + "/index/" + str(current_page)
20.             page = requests.get(url=pre_url)
21.             html = etree.HTML(page.content)
22.             articles = html.xpath('/html/body/div/div/div/dl')
23.             return articles
24.         except Exception as e:
25.             if opportunity > 0:
26.                 time.sleep(500)
27.                 print(
28.                     "=============================== retry => " + str(opportunity) + "===============================")
29.                 return self.askHTML(current_page, opportunity - 1)
30.             else:
31.                 return None
33.     def analyze(self, articles):
34.         lines = []
35.         for article in articles:
36.             data = {}
37.             data["link"] = article.xpath("./span/dd/a/@href")[0]
38.             data["title"] = article.xpath("./span/dd/a/strong/text()")[0]
39.             data["content"] = self.analyze_content(article)
40.             picture_links = article.xpath("./dd/img/@src")
41.             if (picture_links is not None and len(picture_links) > 0):
42.                 # print(picture_links)
43.                 data["picture_links"] = picture_links
44.             else:
45.                 data["picture_links"] = []
47.             # data["good_zan"] = article.xpath("./div/div/a[@class='pinattn good']/p/text()")[0]
48.             # data["bad_bs"] = article.xpath("./div/div/a[@class='pinattn bad']/p/text()")[0]
49.             data["good_zan"] = self.analyze_zan(article, "good")
50.             # article.xpath("./div/div/a[@class='pinattn good']/p/text()")[0]
51.             data["bad_bs"] = self.analyze_zan(article, "bad")
52.             # article.xpath("./div/div/a[@class='pinattn bad']/p/text()")[0]
53.             lines.append(data)
54.         return lines
56.     # 解析文章内容
57.     def analyze_content(self, article):
58.         # 1. 判断dd标签下是否为文本内容
59.         content = article.xpath("./dd/text()")
60.         if content is not None and len(content) > 0 and not self.is_empty_list(content):
61.             return content
63.         content = []
64.         p_list = article.xpath("./dd")
65.         for p in p_list:
66.             # 2. 判断dd/.../font标签下是否为文本内容
67.             if len(content) <= 0 or content is None:
68.                 fonts = p.xpath(".//font")
69.                 for font_html in fonts:
70.                     font_content = font_html.xpath("./text()")
71.                     if font_content is not None and len(font_content) > 0:
72.                         content.append(font_content)
74.             # 3. 判断dd/.../p标签下是否为文本内容
75.             if len(content) <= 0 or content is None:
76.                 fonts = p.xpath(".//p")
77.                 for font_html in fonts:
78.                     font_content = font_html.xpath("./text()")
79.                     if font_content is not None and len(font_content) > 0:
80.                         content.append(font_content)
82.         return content
84.     def analyze_zan(self, article, type):
85.         num = article.xpath("./div/div/a[@class='pinattn " + type + "']/p/text()")
86.         if num is not None and len(num) > 0:
87.             return num[0]
88.         return 0
90.     def do_word(self):
91.         fieldnames = ['index', 'link', 'title', 'content', 'picture_links', 'good_zan', 'bad_bs']
92.         with open('article.csv', 'a', encoding='UTF8', newline='') as f:
93.             writer = csv.DictWriter(f, fieldnames=fieldnames)
94.             # writer.writeheader()
95.             for i in range(self.start_page, self.end_page):
96.                 articles = self.askHTML(i, 3)
97.                 if articles is None:
98.                     continue
99.                 article_list = self.analyze(articles)
100.                 self.save(writer, article_list)
102.     # 保存到文件中
103.     def save(self, writer, lines):
104.         print("##### 保存中到文件中...")
105.         # python2可以用file替代open
106.         print(lines)
107.         writer.writerows(lines)
108.         print("##### 保存成功...")
110.     def is_empty_list(self, list):
111.         for l in list:
112.             if not self.empty(l):
113.                 return False
114.         return True
116.     def empty(self, content):
117.         result = content.replace("\r", "").replace("\n", "")
118.         if result == "":
119.             return True
120.         return False
122.     # 递归解析文章内容
123.     def analyze_font_content(self, font_html, depth):
124.         content = []
125.         print(depth)
126.         font_content_list = font_html.xpath("./font/text()")
127.         if font_content_list is not None and len(font_content_list) > 0 and not self.is_empty_list(font_content_list):
128.             for font_content in font_content_list:
129.                 content.append(font_content)
130.         else:
131.             if depth < 0:
132.                 return []
133.             return self.analyze_font_content(font_html.xpath("./font"), depth - 1)
135.         return content
138. if __name__ == '__main__':
139.     page = Page()
140.     page.do_word()

复制代码

在运行下面的代码之前，需要先按照好requests、lxml两个模块，安装命令为：

1. pip installl requests
2. pip install lxml

复制代码

大家对这个爬虫有什么疑问，欢迎给我留言。如果大家对于我这个爬虫创意还不错的话，记得关注微信公众号【智享学习】哟，后续我会分享更多有意思的编程项目。

本文由博客一文多发平台 OpenWrite 发布！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！