爬虫项目实战十一：抓取当当商品信息

爬取当当网商品信息

• • • 目标
      • 项目筹备
      • 网站信息评估
      • 页面内容解析
      • 防爬机制研究
      • 程序开发
      • 实验结果展示

目标

将当当网上的商品信息进行批量采集，并将其以csv格式存储于本地计算机中。

项目准备

软件：Pycharm
所依赖的第三方库包括：requests、fake_useragent、lxml以及csv
目标网站的网址为：http://search.dangdang.com/>

网站分析

访问相关网页界面，进行商品检索操作，例如选择豆豆鞋这一品类。

通过观察可以发现：

http://search.dangdang.com/?key=����Ь&act=input

key=商品名称
需要判断该页面是否为静态网页。
可通过按下F12键进入开发者模式。
随后复制相关关键字，并使用Ctrl+U打开源代码页面。将关键字粘贴至其中，即可确认是否存在对应内容