AIGC爬虫实战（一）

前言

传统的网络爬虫系统服从较低且难以应对复杂多变的网页环境
基于AIGC技术的智能化爬虫,则可以大幅提升爬虫的自主性和适应性,从而更高效地完成网络数据的采集和分析任务
本文将通过一系列实战案例,深入探讨AIGC技术在网络爬虫开发中的详细应用
代码实现

首先安装一下request-promise和cheerio

1. npm install request-promise
3. npm install cheerio

复制代码

• request-promise:
  
  
  
  • request-promise 是一个基于 request 库的 Promise 封装库。它使得发出 HTTP 哀求变得更加简单和优雅。
    
  • 与原生的 fetch API 相比,request-promise 提供了更丰富的功能,如支持 cookie、代理设置、自定义报头等。
    
  • 利用 request-promise 可以轻松地举行异步 HTTP 哀求,并通过 Promise 链处理效果,大大简化了回调嵌套的问题。
    
  • 示例代码:
    
    1. const rp = require('request-promise');
    3. rp('https://www.example.com')
    4.   .then((htmlString) => {
    5.     console.log(htmlString);
    6.   })
    7.   .catch((err) => {
    8.     console.error(err);
    9.   });

    复制代码
  
  
• cheerio:
  
  
  
  • cheerio 是一个用于剖析和处理 HTML 的 jQuery 核心功能的实现。
    
  • 它提供了一套雷同于欣赏器中 jQuery 的 API,让开发者可以利用熟悉的选择器语法来遍历、搜索和操纵 HTML 文档。
    
  • 与 JSDOM 等完整的 DOM 剖析器相比,cheerio 更加轻量级和高效,适合在服务器端举行 HTML 剖析和数据提取。
    
  • 示例代码:
    
    1. const cheerio = require('cheerio');
    3. const $ = cheerio.load('<h2 class="title">Hello, cheerio</h2>');
    5. $('h2.title').text('Hello, world.');
    6. $('h2').addClass('welcome');
    8. console.log($.html());
    9. // Output: <h2 class="title welcome">Hello, world.</h2>

    复制代码
  
  

接下来我们开始书写我们的代码

• 引入所需的Node.js模块:
  
  
  
  • request-promise: 用于发送HTTP哀求并获取页面内容
    
  • cheerio: 用于剖析HTML页面,提取所需的数据
    
  • fs: 用于写入JSON文件
    
  
  
• 定义底子URL:
  
  
  
  • basicUrl = 'https://movie.douban.com/top250'
    
  
  
• 定义getMovieInfo函数:
  
  
  
  • 该函数接受一个HTML节点作为参数
    
  • 利用cheerio剖析节点,提取影戏的标题、信息和评分
    
  • 将提取的数据封装成一个对象并返回
    
  
  
• 定义getPage函数:
  
  
  
  • 该函数接受一个URL和页码作为参数
    
  • 利用request-promise发送HTTP哀求获取页面内容
    
  • 利用cheerio剖析页面,提取每部影戏的信息
    
  • 将提取的数据封装成一个数组并返回
    
  
  
• 定义main函数:
  
  
  
  • 该函数为步伐入口点
    
  • 设置必要爬取的页数为25页(250部影戏)
    
  • 利用for循环遍历每页,调用getPage函数获取数据
    
  • 将所有页面的数据合并成一个列表
    
  • 利用fs.writeFile将列表写入到output.json文件中
    
  
  

1. let request = require('request-promise') // 需要安装
2. let cheerio = require('cheerio') // 需要安装
3. let fs = require('fs')
4. let basicUrl = 'https://movie.douban.com/top250'
6. function getMovieInfo(node) {
7.     let $ = cheerio.load(node)
8.     let titles = $('.info .hd span')
9.     titles = ([]).map.call(titles, t => {
10.         return $(t).text()
11.     })
12.     let bd = $('.info .bd')
13.     let info = bd.find('p').text()
14.     let score = bd.find('.star .rating_num').text()
15.     return { titles, info, score }
16. }
17. async function getPage(url, num) {
18.     let html = await request({
19.         url
20.     })
21.     console.log('连接成功！', `正在爬取第${num + 1}页数据`)
22.     let $ = cheerio.load(html)
23.     let movieNodes = $('#content .article .grid_view').find('.item')
24.     let movieList = ([]).map.call(movieNodes, node => {
25.         return getMovieInfo(node)
26.     })
27.     return movieList
28. }
29. async function main() {
30.     let count = 25
31.     let list = []
32.     for (let i = 0; i < count; i++) {
33.         let url = basicUrl + `?start=${25 * i}`
34.         list.push(... await getPage(url, i))
35.     }
36.     console.log(list.length)
37.     fs.writeFile('./output.json', JSON.stringify(list), 'utf-8', () => {
38.         console.log('生成json文件成功！')
39.     })
40. }
41. main()

复制代码

可以看到我们爬取的数据都在json文件中

可以看到我们的数据格式照旧有点问题的
接下来我们将第一个数据将它交给AI处理一下

可以看到AI给我们处理的不错，所以AI可以或许有效的进步我们爬取处理数据的服从
下篇文章我们将讲解一下怎样在项目中调用AI的API去快捷处理数据
总结

本文将通过实战案例,深入探讨AIGC技术在网络爬虫开发中的详细应用
基于AIGC技术的智能化爬虫,则可以大幅提升爬虫的自主性和适应性,从而更高效地完成网络数据的采集和分析任务，AI在项目中的鼎力大举利用可以或许有效得提升项目的能力

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。