基于Scrapy框架抓取数据

一、环境准备与配置

首先，我选择使用Anaconda环境，需要先创建一个项目并进行激活操作。

搭建爬虫项目的步骤如下：

通过执行命令 conda create -n Spider python == 3.6.2 来完成项目初始化。

    conda create -n Spider python == 3.6.2
    

接下来启动该环境

    activate Spider
    

在此环境下，需完成scrapy模块与pywin32模块的安装操作。

执行命令：pip install scrapy

执行命令：pip install pywin32

关于Scrapy的具体安装步骤，可查阅：http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes，该链接中提供了适用于不同操作系统的安装指南。

二、报错处理机制设计

1、在使用 Scrapy 过程中，可能会遇到如下提示信息：UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. 建