ToB企服应用市场:ToB评测及商务社交产业平台

标题: 一款分布式爬虫管理平台，支持多种语言和框架 [打印本页]

---

作者: 自由的羽毛    时间: 2024-6-27 09:21
标题: 一款分布式爬虫管理平台，支持多种语言和框架
大家好，我是 Java陈序员。
本日，给大家介绍一个分布式的爬虫平台，支持多种编程语言、框架！

关注微信公众号：【Java陈序员】，获取开源项目分享、AI副业分享、超200本经典计算机电子书籍等。

项目介绍

Crawlab —— 一个基于 Golang 的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP 等多种编程语言以及多种爬虫框架。
主要功能：

项目截图

登录页

主页

节点

项目

爬虫

任务

插件

快速上手

最快安装 Crawlab 的方式是 Docker.保举利用 Docker Compose.

1、创建配置文件并命名为 docker-compose.yml

1. version: '3.3'
2. services:
3.   master:
4.     image: crawlabteam/crawlab
5.     container_name: crawlab_master
6.     environment:
7.       CRAWLAB_NODE_MASTER: "Y"
8.       CRAWLAB_MONGO_HOST: "mongo"
9.     ports:
10.       - "8080:8080"
11.     depends_on:
12.       - mongo
13.   mongo:
14.     image: mongo:4.2

复制代码

2、一键启动 Crawlab

1. docker-compose up -d

复制代码

3、浏览器访问

1. http://IP:8080

复制代码

这是最小化配置的 Crawlab,支持体验大多数功能，但是不建议在生产环境中配置，生产环境摆设 Crawlab 可参考官方文档。

Crawlab 适用于网路爬虫工程师、运维工程师、数据分析师等，是一款功能强大的爬虫平台！更多的利用功能，可自行摆设体验~

1. 项目地址：https://github.com/crawlab-team/crawlab
2. 在线体验：https://demo.crawlab.cn/#/home
3. 在线文档：https://docs.crawlab.cn/zh/guide/

复制代码

最后

保举的开源项目已经收录到 GitHub 项目，欢迎 Star：

1. https://github.com/chenyl8848/great-open-source-project

复制代码

或者访问网站，举行在线浏览：

1. https://chencoding.top:8090/#/

复制代码

大家的点赞、收藏和批评都是对作者的支持，如文章对你有帮助还请点赞转发支持下，谢谢！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4