ToB企服应用市场:ToB评测及商务社交产业平台

标题: 一个豆瓣电影Top250爬虫 [打印本页]
作者: 小小小幸运    时间: 2022-8-9 18:54
标题: 一个豆瓣电影Top250爬虫
一个爬虫

这是我第一次接触爬虫，写的第一个爬虫实例。

https://movie.douban.com/top250
模块
  1. import requests #用于发送请求
  2. import re #使用正则表达式，用于匹配处理文本
  3. import os #用于创建文件夹
  4. from lxml import etree #这里我使用了Xpath表达式用于数据解析，我觉得这个模块比BeautifulSoup好用，强烈推荐
  5. from fake_useragent import UserAgent #反爬虫，随机获取浏览器 UA 信息
复制代码
代码
  1. import requests
  2. import re
  3. import os
  4. from lxml import etree
  5. from fake_useragent import UserAgent
  8. class doubanSpider(object):
  9.     def __init__(self):
  10.         if not os.path.exists('db/douban'):
  11.             os.makedirs('db/douban')
  12.         else:
  13.             pass
  14.         self.f = open('./db/douban/douban.txt', 'a', encoding='utf-8')
  16.     def start(self):
  17.         for i in range(46):
  18.             headers = {
  19.                 'User-Agent': UserAgent().random
  20.             }
  21.             url = 'https://movie.douban.com/top250?start=' + str(i * 25)
  22.             r = requests.get(url, headers=headers)
  23.             html = etree.HTML(r.text)
  24.             li_list = html.xpath('//*[@id="content"]/div/div[1]/ol/li')
  25.             movies = []
  26.             for each in li_list:
  27.                 movie = {}
  28.                 order = each.xpath('.//div/div[1]/em/text()')[0]
  29.                 movie['id'] = order
  30.                 cover = each.xpath('.//div/div[1]/a/img/@src')[0]
  31.                 movie['cover'] = cover
  32.                 name = each.xpath('.//div/div[2]/div[1]/a/span/text()')
  33.                 flag = ''
  34.                 for mo in name:
  35.                     flag += mo
  36.                 movie['name'] = flag
  37.                 info = each.xpath('.//div/div[2]/div[2]/p[1]/text()[1]')[0].strip()
  38.                 info = info.replace("\n", "")
  39.                 info = info.replace("\xa0", "")
  40.                 director = re.findall(r'[导演:].+[主演:]', info)[0]
  41.                 director = director[4:len(director) - 3]
  42.                 movie['director'] = director
  43.                 try:
  44.                     role = re.findall(r'主.+', info)[0]
  45.                     role = role[4:]
  46.                 except IndexError:
  47.                     role = ''
  48.                 movie['role'] = role
  49.                 plot = each.xpath('.//div/div[2]/div[2]/p[1]/text()[2]')[0].strip()
  50.                 plot = plot.replace("\xa0", "")
  51.                 movie['plot'] = plot
  52.                 star = each.xpath('.//div/div[2]/div[2]/div/span[2]/text()')[0]
  53.                 movie['star'] = star
  54.                 try:
  55.                     comment = each.xpath('.//div/div[2]/div[2]/p[2]/span/text()')[0]
  56.                 except IndexError:
  57.                     comment = ''
  58.                 movie['comment'] = comment
  59.                 movies.append(movie)
  60.                 self.f.write(str(movie)+'\n')
  61.                 print(movie)
  63.     def run(self):
  64.         self.start()
  65.         self.f.close()
  68. if __name__ == '__main__':
  69.     spider = doubanSpider()
  70.     spider.run()
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4