第4章爬虫实战：构建语录数据库

网络语录爬取实践

• • • 目标
      • 项目筹备
      • 网站信息解析
      • 抗爬虫机制研究
      • 页面链接解析
      • 程序开发
      • 运行结果展示

目标

将相关语录进行抓取操作，并完成批量形式的本地存储。

项目准备

软件：Pycharm
所依赖的第三方库包括：requests、fake_useragent、re以及lxml
目标网站地址：http://www.yuluju.com>

网站分析

进入该网址。

存在多种分类方式，各类语录均有不同。
选择爱情语录后，可观察到上方网址已更改为`http://www.yuluju.com/aiqingyulu/``。

当用户选择查看幽默语录时，同样会观察到相似的转变现象。

![在这里插入图片