IT评测·应用市场-qidao123.com技术社区

标题: Scrapy框架爬虫官网的学习 [打印本页]
作者: tsx81429    时间: 2025-4-26 15:31
标题: Scrapy框架爬虫官网的学习
一、安装Scrapy框架

  1. pip install scrapy
复制代码
二、 创建scrapy框架默认目次

  1. scrapy startproject tutorial
  2. #tutorial为你的项目的名称
复制代码
该炒作会为您主动创建项目目次
三、项目目次介绍

  1. tutorial/
  2.     scrapy.cfg            # deploy configuration file
  4.     tutorial/             # project's Python module, you'll import your code from here
  5.         __init__.py
  7.         items.py          # project items definition file
  9.         middlewares.py    # project middlewares file
  11.         pipelines.py      # project pipelines file
  13.         settings.py       # project settings file
  15.         spiders/          # a directory where you'll later put your spiders
  16.             __init__.py
复制代码
四、先从第一只爬虫开始吧

爬虫用来界说爬取网站和相应结果处理是在Spider类界说的初始请求，我们开始第一次爬取数据新建一个文件在 tutorial/spiders 下的quotes_spider.py 
  1. import scrapy
  4. class QuotesSpider(scrapy.Spider):
  5.     #标记爬虫程序，他在项目是唯一的，不同的爬行器用不同的名称
  6.     name = "quotes"
  7.     #该方法必须返回一个请求的可迭代数据，爬虫会从第一个数据开始爬取
  8.     def start_requests(self):
  9.         urls = [
  10.             'http://quotes.toscrape.com/page/1/',
  11.             'http://quotes.toscrape.com/page/2/',
  12.         ]
  13.         for url in urls:
  14.             yield scrapy.Request(url=url, callback=self.parse)
  15.     #在每一个请求成功后处理相应数据的方法Response参数是 TextResponse 它保存页面内容
  16.     def parse(self, response):
  17.         page = response.url.split("/")[-2]
  18.         filename = f'quotes-{page}.html'
  19.         with open(filename, 'wb') as f:
  20.             f.write(response.body)
  21.         self.log(f'Saved file {filename}')
复制代码
怎样运行我们的爬虫代码呢？
跳转到项目顶级目次下运行：
  1. scrapy crawl quotes
  2. #quotes为爬虫文件的名称
复制代码
代码会生成两个文件，雷同于这样：、

这种方式大概不是那么快捷，有些操纵是没有必要的，我们可以直接这样写
  1. from pathlib import Path
  3. import scrapy
  6. class QuotesSpider(scrapy.Spider):
  7.     name = "quotes"
  8.     #变量名为start_urls  会默认实现start_requests方法，无需书写该方法
  9.     start_urls  = [
  10.         "https://quotes.toscrape.com/page/1/",
  11.         "https://quotes.toscrape.com/page/2/",
  12.     ]
  13.     def parse(self, response):
  14.         page = response.url.split("/")[-2]
  15.         filename = f"quotes-{page}.html"
  16.         with open(filename, 'wb') as f:
  17.             f.write(response.body)
复制代码
个人理解就是省却了写一个方法通过命名变量的方式来默认实现 start_urls  方法
五、提取数据

最好的学习方式是利用shell举行学习
在终端上运行：
  1. scrapy shell "http://quotes.toscrape.com/page/1/"
复制代码
 你可以看到这样的结果：

你可以尝试筛选响应的对象：
  1. response.css('title')
  2. #该操作为使用scrapy库里的CSS选择器来筛选数据
复制代码
执行之后你可以看到这样的响应
  1. [<Selector query='descendant-or-self::title' data='<title>Quotes to Scrape</title>'>]
  2. #这个操作代表获取到了一个HTML中的 <title> 标签，内容为 Quotes to Scrape
  3. #Scrapy 返回的是一个包含 Selector 对象的列表
复制代码
那么怎么提取其中的文本呢？
  1. response.css('title::text').getall()
复制代码
结果为：
  1. ['Quotes to Scrape']
复制代码
即 ::text会筛选出title标题中的数据，假如我们不指定text那么会获取到完整的title标签：
  1. >>> response.css('title').getall()      
  2. ['<title>Quotes to Scrape</title>']
复制代码
 同时值得你注意的是，getall()返回的数据是一个列表，假如你只要返回一个数据可以
  1. >>> response.css('title').get()        
  2. '<title>Quotes to Scrape</title>'
复制代码
同时也可以有替代写法：
  1. >>> response.css('title')[0].get()   
  2. '<title>Quotes to Scrape</title>'
复制代码
 
 
 
 
 


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/) Powered by Discuz! X3.4