Windows 10: how to use scrapyd to deploy a web crawler

win10如何使用scrapyd部署爬虫

官方文档：http://scrapyd.readthedocs.io/en/stable/

scrapy爬虫完成后通常使用命令行工具进行运行。scrapyd部署可以在网页端查看任务的执行状态，并且支持创建新的爬虫任务以及终止现有的爬虫任务。优点在于可以通过网页端操控爬虫并进行操作和监控多个爬虫任务。

1.安装

pip install scrapyd
pip install scrapyd-client

2.基本使用

2.1 运行scrapyd

在scrapy.cfg中，取消#url = http://localhost:6800/前面的“#” 。

请切换至终端并指向Scrapy项目的根目录。
启动Scrapy服务，请注意在终端中输入字母组合scrapyd以启动Scrapy服务。

在终端中切换到scrapy项目的根目录后，在终端中执行以下操作：部署scrapyd项目；运行以下命令： scrapy deploy -p projectName；检查部署是否成功？运行以下命令： scra