【Scrapy】简单项目实战--爬取dangdang图书信息

目次
一、根本步调
1、新建项目 ：新建一个新的爬虫项目
2、明白目标 （items.py）：明白你想要抓取的目标
 3、制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
 4、存储内容 （pipelines.py）：设计管道存储爬取内容
 5、运行爬虫
二、实战：爬取当当图书 

---

接下来先容一个简单的项目，完成一遍 Scrapy 抓取流程。
一、根本步调

1、新建项目 ：新建一个新的爬虫项目

1. 1 创建一个scrapy项目
2. scrapy startproject mySpider（文件夹名称）

复制代码

2、明白目标 （items.py）：明白你想要抓取的目标

1. 选择你需要爬取的内容，例如作者名字、小说名、封面图片等
2. 在items.py文件中定义

复制代码

 3、制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页

1. 生成一个爬虫
2. scrapy genspider  爬虫文件的名字 要爬的网页
3. eg:[不需要加https]
4. https://www.baidu.com/ --> baidu.com
5. https://www.douban.com/  --> douban.com
6. scrapy genspider baidu www.baidu.com

复制代码

EG 爬虫文件表明：

1. import scrapy
2. class BaiduSpider(scrapy.Spider):
3.     # 爬虫的名字 一般运行爬虫的时候 使用的值
4.     name = 'baidu'
5.     # 允许访问的域名
6.     allowed_domains = ['www.baidu.com']
7.     # 起始的url地址  指的是第一次要访问的域名
8.     # start_urls   是在allowed_domains的前面添加一个http：//
9.     #              是在allowed_domains的后面添加一个/
10.     # 如果以html结尾 就不用加/ 否则网站进不去  报错
11.     start_urls = ['http://www.baidu.com/']
13.     # 是执行了start_urls之后  执行的方法
14.     # 方法中的response  就是返回的那个对象
15.     # 相当于 response = urllib.request.urlopen()
16.     #       response = requests.get()
17.     def parse(self, response):
18.         pass

复制代码

4、 设置中间件（middlewares.py防反爬）

1. # middlewares.py 添加随机请求头和代理
2. import random
3. from fake_useragent import UserAgent
5. class CustomMiddleware:
6.     def process_request(self, request, spider):
7.         # 随机UA（伪装不同浏览器）
8.         request.headers['User-Agent'] = UserAgent().random
9.         
10.         # 使用代理IP（示例用阿布云代理）
11.         request.meta['proxy'] = "http://http-dyn.abuyun.com:9020"
12.         request.headers['Proxy-Authorization'] = basic_auth_header(
13.             'H01234567890123D', '0123456789012345'
14.         )

复制代码

 【本项目没有防反爬机制，不消管这个文件】
 4、存储内容 （pipelines.py）：设计管道存储爬取内容

假如想使用管道的话 那么就必须在settings中开启管道

1. ITEM_PIPELINES = {
2.             # 管道可以有很多个 那么管道是有优先级 优先级的范围是1到1000 值越小优先级越高
3.            'scrapy_dangdang.pipelines.ScrapyDangdangPipeline': 300,
4. }
5.             # 将在settings.py中这段话取消注释，则打开了通道。

复制代码

然后去pippelines.py中设计管道：

1. class ScrapyDangdangPipeline:
3.     def open_spider(self,spider):
4.         self.fp = open('book.json','w',encoding='utf-8')
6.     # item就是yield后面的对象
7.     def process_item(self, item, spider):   
8.         self.fp.write(str(item))
9.         return item
11.     def close_spider(self,spider):
12.         self.fp.close()

复制代码

 5、运行爬虫

1. 在cmd中输入：scrapy crawl 爬虫的名字
2.   eg:scrapy crawl baidu

复制代码

二、实战：爬取当当图书 

   创建项目
  上一节我们已经创建好了文件夹

 
        创建好文件夹之后，通过cd mySprider进入到文件夹内部，创建通过scrapy genspider 爬虫步调了，这里创建爬虫文件，scrapy genspider dang category.dangdang.com

爬虫文件已经创建完成，通过mySprider，spiders目次下看到创建好的db文件。 

 
   明白目标 （items.py）：明白你想要抓取的目标 
  

• 确定须要下载的数据，去items.py文件中添加。这里我们准备存储图片、名字和代价
  

1. # Define here the models for your scraped items
2. #
3. # See documentation in:
4. # https://docs.scrapy.org/en/latest/topics/items.html
6. import scrapy
9. class MyspiderItem(scrapy.Item):
10.     # define the fields for your item here like:
11.     # name = scrapy.Field()
12.     src = scrapy.Field()
13.     # 名字
14.     name = scrapy.Field()
15.     # 价格
16.     price = scrapy.Field()
17.     pass

复制代码

  去爬虫文件中去爬取我们须要的内容了（这里是在dang.py文件中）
   

1. import scrapy
2. from ..items import MyspiderItem
5. class DangSpider(scrapy.Spider):
6.     # 爬虫的名字 一般运行爬虫的时候 使用的值
7.     name = 'dang'
9.     # 允许访问的域名
10.     # 如果是多页下载的话 那么必须要调整的是allowed_domains的范围 一般情况下只写域名
11.     allowed_domains = ['category.dangdang.com']
13.     # 起始的url地址  指的是第一次要访问的域名
14.     # start_urls   是在allowed_domains的前面添加一个http：//
15.     #              是在allowed_domains的后面添加一个/
16.     # 如果以html结尾 就不用加/
17.     start_urls = ['http://category.dangdang.com/cp01.01.02.00.00.00.html']
18.     base_url = 'http://category.dangdang.com/pg'
19.     page = 1
21.     # 是执行了start_urls之后  执行的方法
22.     # 方法中的response  就是返回的那个对象
23.     # 相当于 response = urllib.request.urlopen()
24.     #       response = requests.get()
25.     def parse(self, response):
26.         # pipelines     下载数据
27.         # items         定义数据结构的
28.         # src = //ul[@id="component_59"]/li//img/@src
29.         # alt = //ul[@id="component_59"]/li//img/@alt
30.         # price = //ul[@id="component_59"]/li//p[@class="price"]/span[1]/text()
31.         # 所有的seletor的对象 都可以再次调用xpath方法
32.         li_list = response.xpath('//ul[@id="component_59"]/li')
33.         for li in li_list:
34.         #  第一张图片和其他的图片的标签是属性是不一样的
35.         #  第一张图片src是可以使用的 其他图片的地址data-original
36.             src = li.xpath('.//img/@data-original').extract_first()
37.             if src:
38.                src = src
39.             else:
40.                src = li.xpath('.//img/@src').extract_first()
42.             name = li.xpath('.//img/@alt').extract_first()
43.             price = li.xpath('.//p[@class="price"]/span[1]/text()').extract_first()
45.             book = MyspiderItem(src=src,name=name,price=price)
46.             # 获取一个book就交给pipelines
47.             yield book
49.         # 每一页爬取的业务逻辑都是一样的
50.         # 所以我们只需要将执行的那个页的请求再次调用parse方法就可以了
51.         if self.page < 100:
52.             self.page = self.page + 1
53.             url = self.base_url + str(self.page) + '-cp01.01.02.00.00.00.html'
54.             # 怎么去调用parse方法
55.             # scrapy.Request就是scrpay的get方法
56.             # url就是请求地址
57.             # callback是你要执行的那个函数 注意不需要加圆括号
58.             yield scrapy.Request(url=url,callback=self.parse)

复制代码

  通过剖析拿到数据之后，我们就可以去通道中添加生存的方法了（pippelines.py）
  去settings.py在打开通道和添加通道，完成之后举行下一步

1. ITEM_PIPELINES = {
2.     # 管道可以有很多个 那么管道是有优先级 优先级的范围是1到1000 值越小优先级越高
3.    'mySpider.pipelines.ScrapyDangdangPipeline': 300,
4.    'mySpider.pipelines.DangDangDownloadPiepline': 301,
5. }

复制代码

 留意

黄色框起来的是你的文件名，自行修改！

• 通道打开后，在pippelines.py完成下列使用
  

1. import os
2. # 如果想使用管道的话 那么就必须在settings中开启管道
3. class ScrapyDangdangPipeline:
5.     def open_spider(self,spider):
6.         self.fp = open('book.json','w',encoding='utf-8')
8.     # item就是yield后面的book对象
9.     def process_item(self, item, spider):
10.         # 一下这种模式不推荐 因为每传递一个对象 那么就打开一次文件对文件的操作过于频繁
11.         # # write方法必须要写一个字符串 而不能是其他的对象
12.         # # w模式 会每一个对象都打开一次文件 覆盖之前的内容
13.         # with open('book.json','a',encoding='utf-8') as fp:
14.         #     fp.write(str(item))
16.         self.fp.write(str(item))
17.         return item
19.     def close_spider(self,spider):
20.         self.fp.close()
22. # 多条管道开启
23.     # 定义管道类
24.     # 在settings中开启管道
25.     # 'scrapy_dangdang.pipelines.DangDangDownloadPiepline': 301,
26. import urllib.request
29. class DangDangDownloadPiepline:
31.     def process_item(self,item,spider):
32.         url = 'http:' + item.get('src')
33.         if not os.path.exists('./books/'):
34.             os.mkdir('./books/')
35.         filename = './books/' + item.get('name') + '.jpg'
36.         urllib.request.urlretrieve(url=url,filename=filename)
37.         return item

复制代码

  

• 末了在cmd中输入：scrapy crawl dang
  
• 
  
  
• 完成之后就开始下载了，全部完成之后你就会看到多了book.json文件和books文件夹在本身的项目中。内里有数据，则表示项目乐成了。
  

  运行结果

 

三、总结 

   一定要记得！！在setting开启管道设置 ，设置的时间留意路径名称，在这卡了半天
  ✅ spiders/ 里的爬虫逻辑（怎么抓，主要抓取数据的文件）
✅ pipelines.py 里的存储逻辑，处理惩罚抓到的数据（怎么存，定义文件存储方式等等）
✅ settings.py 里的设置参数（怎么调优）
          总的来说，简单一点的爬虫用scrapy实现时须要先创建好项目-->明白要爬取的目标--->分析页面，看看数据存在什么标签中，写爬取的py文件--->看看是否有反爬机制--->在管道文件中添加对数据的处理惩罚方式。
         

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告