国人的分布式爬虫管理框架详解

从 Scrapy 的部署、启动直至监控与日志查看，我们只需通过鼠标点击几次即可完成，这难道不是一件令人愉悦的事情吗？更进一步地说，如果 Scrapy 的代码还能由系统自动完成生成，那岂不是更加令人兴奋？

市场需求催生了相应的动力，没错，Gerapy 正是为满足这一需求而诞生的，GitHub：https://github.com/Gerapy/Gerapy。

安装

Gerapy 是一个基于分布式架构的爬虫管理平台，兼容 Python 3 环境，其开发依托于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django 以及 Vue.js 等多个开源工具。通过 Gerapy，用户能够实现以下功能：

• 对爬虫任务的执行过程进行更为便捷的操控

• 更加清晰地掌握爬虫运行时的各项状态信息

• 实时获取数据采集的结果内容

• 简化项目部署流程，提升工作效率

• 实现对主机资源的统一管理与调度

• 提高编写爬虫脚本的效率与便捷性

该平台的安装过程十分简便，仅需执行 pip3 命令即可完成：

pip3 install gerapy

在安装完成后，用户可通过输入 gerapy 命令来查看其基本操作方式与使用说明。

![](https