小项目-数据爬取篇：使用scrapy框架爬取手机网页并存储工作信息到MongoDB数据库中，并添加代理IP中间件
发布时间
阅读量：
阅读量
准备工作概述
首先需要完成scrapy框架的安装过程：
pip install scrapy
此外还需要使用MongoDB，其安装方法可通过百度搜索获取，网络上相关资料十分丰富。
pip install pymongo
本次需要对移动端网页进行分析，需借助火狐浏览器中的插件来修改user-agent，以模拟手机访问网页的过程。
首先应完成火狐浏览器的下载与安装；
接下来，进入附加组件管理界面：
在浏览器的扩展程序中查找user agent switcher，选择首个结果进行安装，随后即可启用该功能进行使用
在浏览网页的过程中，用户能够灵活地切换所使用的user-agent信息。
还没有任何评论哟~