一款分布式爬虫管理平台，支持多种语言和框架
大家好，我是 Java陈序员。本日，给大家介绍一个分布式的爬虫平台，支持多种编程语言、框架！
关注微信公众号：【Java陈序员】，获取开源项目分享、AI副业分享、超200本经典计算机电子书籍等。
项目介绍
Crawlab —— 一个基于 Golang 的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP 等多种编程语言以及多种爬虫框架。
主要功能：
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622212304.png
项目截图
登录页
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622213031.png
主页
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622214204.png
节点
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622214238.png
项目
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622225914.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622225924.png
爬虫
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622225942.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230044.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622225954.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230013.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230028.png
任务
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230108.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230120.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230205.png
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230222.png
插件
https://chen-coding.oss-cn-shenzhen.aliyuncs.com/create-center/Crawlab/img-20240622230249.png
快速上手
最快安装 Crawlab 的方式是 Docker.保举利用 Docker Compose.
1、创建配置文件并命名为 docker-compose.yml
version: '3.3'
services:
master:
image: crawlabteam/crawlab
container_name: crawlab_master
environment:
CRAWLAB_NODE_MASTER: "Y"
CRAWLAB_MONGO_HOST: "mongo"
ports:
- "8080:8080"
depends_on:
- mongo
mongo:
image: mongo:4.22、一键启动 Crawlab
docker-compose up -d3、浏览器访问
http://IP:8080这是最小化配置的 Crawlab,支持体验大多数功能，但是不建议在生产环境中配置，生产环境摆设 Crawlab 可参考官方文档。
Crawlab 适用于网路爬虫工程师、运维工程师、数据分析师等，是一款功能强大的爬虫平台！更多的利用功能，可自行摆设体验~
项目地址：https://github.com/crawlab-team/crawlab
在线体验：https://demo.crawlab.cn/#/home
在线文档：https://docs.crawlab.cn/zh/guide/最后
保举的开源项目已经收录到 GitHub 项目，欢迎 Star：
https://github.com/chenyl8848/great-open-source-project或者访问网站，举行在线浏览：
https://chencoding.top:8090/#/大家的点赞、收藏和批评都是对作者的支持，如文章对你有帮助还请点赞转发支持下，谢谢！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]