85行代码实现多线程+数据文件操作+数据库存储的爬虫实例 ...

写在前面

这是我在接触爬虫后，写的第二个爬虫实例。
也是我在学习python后真正意义上写的第二个小项目，第一个小项目就是第一个爬虫了。
我从学习python到现在，也就三个星期不到，平时课程比较多，python是额外学习的，每天学习python的时间也就一个小时左右。
所以我目前对于python也不是特别了解，如果代码以及理解方面存在错误，欢迎大家的指正。
爬取的网站

这是一个推荐网络小说的网站。
https://www.tuishujun.com/

我之前用以下的代码实例，爬取了这个网站所有的小说数据，大概有十七万左右。
大概花了6个小时的时间，效率还是不错的，如果是在单线程的情况下，我估计在不停机24小时爬取的情况下，也需要几天。
我在刚开始写这个爬虫实例的时候，也遇到了很多问题，首先就是网上虽然有很多关于python多线程爬虫的东西，但...
除此之外，关于利用多线程操作数据库的爬虫实例也是比较少。
就解决以上问题，我找了很多资料，走了不少弯路，摸索了几天才写出了以下实例。
大家可以参考以下实例，进行拓展，写出属于自己的多线程爬虫。
需要注意的点：
在实例中我使用了ThreadPoolExecutor构造线程池的方式（大家可以找找这方面的资料看看），如果你在使用多线程的时候想要操作数据库存储数据，建议使用以上方式，要不然你会发现，在运行代码时出现各种各样的错误。
代码实例

1. import requests
2. import pymysql
3. import os
4. from lxml import etree
5. from fake_useragent import UserAgent
6. from concurrent.futures import ThreadPoolExecutor
9. class tuishujunSpider(object):
10.     def __init__(self):
11.         if not os.path.exists('db/tuishujun'):
12.             os.makedirs('db/tuishujun')
13.         else:
14.             pass
15.         self.f = open('./db/tuishujun/tuishujun.txt', 'a', encoding='utf-8')
16.         self.con = pymysql.connect(host='localhost', user='root', password='123456789', database='novel',
17.                                    charset='utf8', port=3306)
18.         self.cursor = self.con.cursor()
19.         self.cursor.execute(" SHOW TABLES LIKE 'tuishujun' ")
20.         judge = self.cursor.fetchone()
21.         if judge:
22.             pass
23.         else:
24.             self.cursor.execute("""create table tuishujun
25.                             ( id BIGINT NOT NULL AUTO_INCREMENT,
26.                               cover VARCHAR(255),
27.                               name VARCHAR(255),
28.                               author VARCHAR(255),
29.                               source VARCHAR(255),
30.                               intro LONGTEXT,
31.                               PRIMARY KEY (id))
32.                            """)
33.         self.con.commit()
34.         self.cursor.close()
35.         self.con.close()
37.     def start(self, page):
38.         con = pymysql.connect(
39.             host='localhost', user='root', password='123456789', database='novel', charset='utf8', port=3306)
40.         cursor = con.cursor()
41.         headers = {
42.             'User-Agent': UserAgent().random
43.         }
44.         url = 'https://www.tuishujun.com/books/' + str(page)
45.         r = requests.get(url, headers=headers)
46.         if r.status_code == 500:
47.             return
48.         else:
49.             html = etree.HTML(r.text)
50.             book = {}
51.             book['id'] = str(page)
52.             try:
53.                 cover = html.xpath('//*[@id="__layout"]/div/div[2]/div/div[1]/div/div[1]/div[1]/div[1]/img/@src')[0]
54.             except IndexError:
55.                 cover = ''
56.             book['cover'] = cover
57.             name = \
58.                 html.xpath(
59.                     '//*[@id="__layout"]/div/div[2]/div/div[1]/div/div[1]/div[1]/div[2]/div/div[1]/h3/text()')[0]
60.             book['name'] = name
61.             author = \
62.                 html.xpath(
63.                     '//*[@id="__layout"]/div/div[2]/div/div[1]/div/div[1]/div[1]/div[2]/div/div[2]/a/text()')[
64.                     0].strip()
65.             author = author.replace("\n", "")
66.             book['author'] = author
67.             source = \
68.                 html.xpath('//*[@id="__layout"]/div/div[2]/div/div[1]/div/div[1]/div[1]/div[2]/div/div[5]/text()')[
69.                     0]
70.             book['source'] = source
71.             intro = html.xpath('//*[@id="__layout"]/div/div[2]/div/div[1]/div/div[1]/div[2]/text()')[0]
72.             intro = intro.replace(" ", "")
73.             intro = intro.replace("\n", "")
74.             book['intro'] = intro
75.             self.f.write(str(book) + '\n')
76.             cursor.execute("insert into tuishujun(id,cover,name,author,source,intro) "
77.                            "values(%s,%s,%s,%s,%s,%s)",
78.                            (book['id'], book['cover'], book['name'], book['author'],
79.                             book['source'], book['intro']))
80.             con.commit()
81.             cursor.close()
82.             con.close()
83.             print(book)
85.     def run(self):
86.         pages = range(1, 200000)
87.         with ThreadPoolExecutor() as pool:
88.             pool.map(self.start, pages)
91. if __name__ == '__main__':
92.     spider = tuishujunSpider()
93.     spider.run()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！