[爬虫]3.4.1 Scrapy框架的基本使用

Scrapy是一款强大的Python网络爬虫框架，它可以帮助你快速、简洁地编写爬虫程序，处理数据抓取、处理和存储等复杂问题。
1. 安装Scrapy

在开始使用Scrapy之前，你需要先将其安装在你的系统中。你可以使用Python的包管理器pip来安装Scrapy：

1. pip install Scrapy

复制代码

2. 创建一个Scrapy项目

Scrapy使用一个明确的项目结构来管理爬虫。你可以使用以下命令来创建一个新的Scrapy项目：

1. scrapy startproject projectname

复制代码

这将创建一个新的目录，名为"projectname"，其中包含了Scrapy项目的基本结构。
3. 创建一个Spider

Spider是Scrapy用来定义如何爬取特定网站的类。要创建一个新的Spider，你可以在"spiders"目录下创建一个新的Python文件。以下是一个基本的Spider的例子：

1. import scrapy
3. class ExampleSpider(scrapy.Spider):
4.     name = "example"
5.     start_urls = [
6.         'http://example.com',
7.     ]
9.     def parse(self, response):
10.         self.log('Visited %s' % response.url)

复制代码

这个Spider将会访问"example.com"，然后在日志中记录访问的URL。
4. 运行Spider

你可以使用以下命令来运行你的Spider：

1. scrapy crawl example

复制代码

"example"是你在Spider中定义的name。
5. 解析页面内容

Scrapy的Response对象提供了一些方法来提取页面内容。例如，你可以使用CSS选择器或XPath选择器来选择页面中的元素：

1. def parse(self, response):
2.     title = response.css('title::text').get()
3.     self.log('Title: %s' % title)

复制代码

这个例子将会提取页面的标题，然后在日志中记录。
6. 存储结果

你可以使用Scrapy的Item和Item Pipeline来存储你的爬取结果。Item是保存爬取数据的容器，而Item Pipeline则是处理和存储Item的组件。
首先，你需要在items.py文件中定义你的Item：

1. import scrapy
3. class ExampleItem(scrapy.Item):
4.     title = scrapy.Field()

复制代码

然后，在你的Spider中，返回这个Item的实例：

1. def parse(self, response):
2.     item = ExampleItem()
3.     item['title'] = response.css('title::text').get()
4.     return item

复制代码

最后，定义一个Item Pipeline来存储这个Item：

1. class ExamplePipeline(object):
2.     def process_item(self, item, spider):
3.         print('Title: %s' % item['title'])
4.         return item

复制代码

并在settings.py文件中启用这个Item Pipeline：

1. ITEM_PIPELINES = {'projectname.pipelines.ExamplePipeline': 1}

复制代码

这样，每次爬取到一个Item，都会打印出其标题。
以上就是Scrapy框架的基本使用。你可以根据你的需求，使用Scrapy提供的各种功能和选项，来编写更复杂的爬虫。
推荐阅读：
https://mp.weixin.qq.com/s/dV2JzXfgjDdCmWRmE0glDA
https://mp.weixin.qq.com/s/an83QZOWXHqll3SGPYTL5g


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！