一个豆瓣电影Top250爬虫

一个爬虫

这是我第一次接触爬虫，写的第一个爬虫实例。

https://movie.douban.com/top250
模块

1. import requests #用于发送请求
2. import re #使用正则表达式，用于匹配处理文本
3. import os #用于创建文件夹
4. from lxml import etree #这里我使用了Xpath表达式用于数据解析，我觉得这个模块比BeautifulSoup好用，强烈推荐
5. from fake_useragent import UserAgent #反爬虫，随机获取浏览器 UA 信息

复制代码

代码

1. import requests
2. import re
3. import os
4. from lxml import etree
5. from fake_useragent import UserAgent
8. class doubanSpider(object):
9.     def __init__(self):
10.         if not os.path.exists('db/douban'):
11.             os.makedirs('db/douban')
12.         else:
13.             pass
14.         self.f = open('./db/douban/douban.txt', 'a', encoding='utf-8')
16.     def start(self):
17.         for i in range(46):
18.             headers = {
19.                 'User-Agent': UserAgent().random
20.             }
21.             url = 'https://movie.douban.com/top250?start=' + str(i * 25)
22.             r = requests.get(url, headers=headers)
23.             html = etree.HTML(r.text)
24.             li_list = html.xpath('//*[@id="content"]/div/div[1]/ol/li')
25.             movies = []
26.             for each in li_list:
27.                 movie = {}
28.                 order = each.xpath('.//div/div[1]/em/text()')[0]
29.                 movie['id'] = order
30.                 cover = each.xpath('.//div/div[1]/a/img/@src')[0]
31.                 movie['cover'] = cover
32.                 name = each.xpath('.//div/div[2]/div[1]/a/span/text()')
33.                 flag = ''
34.                 for mo in name:
35.                     flag += mo
36.                 movie['name'] = flag
37.                 info = each.xpath('.//div/div[2]/div[2]/p[1]/text()[1]')[0].strip()
38.                 info = info.replace("\n", "")
39.                 info = info.replace("\xa0", "")
40.                 director = re.findall(r'[导演:].+[主演:]', info)[0]
41.                 director = director[4:len(director) - 3]
42.                 movie['director'] = director
43.                 try:
44.                     role = re.findall(r'主.+', info)[0]
45.                     role = role[4:]
46.                 except IndexError:
47.                     role = ''
48.                 movie['role'] = role
49.                 plot = each.xpath('.//div/div[2]/div[2]/p[1]/text()[2]')[0].strip()
50.                 plot = plot.replace("\xa0", "")
51.                 movie['plot'] = plot
52.                 star = each.xpath('.//div/div[2]/div[2]/div/span[2]/text()')[0]
53.                 movie['star'] = star
54.                 try:
55.                     comment = each.xpath('.//div/div[2]/div[2]/p[2]/span/text()')[0]
56.                 except IndexError:
57.                     comment = ''
58.                 movie['comment'] = comment
59.                 movies.append(movie)
60.                 self.f.write(str(movie)+'\n')
61.                 print(movie)
63.     def run(self):
64.         self.start()
65.         self.f.close()
68. if __name__ == '__main__':
69.     spider = doubanSpider()
70.     spider.run()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！