Advertisement

本课程介绍Python编程基础及核心概念(一):主要涉及requests库与正则表达式的网页抓取技术与应用方法

阅读量:

1.概述

借助Python Requests库配合正则表达式从猫眼电影的排行榜页面maoyan.com开始提取电影详细信息,并包含如电影名称、主演演员阵容、上映日期等字段的数据内容。随后将收集到的数据整理后存储为文本文件。

2.网页分析

要爬取的网页为猫眼电影TOP100 http://maoyan.com/board/4
网页页面如下所示:

猫眼TOP100

观察一下页面的显示规律是什么?每页能展示10个电影标题。接着查看第二页的具体信息如下:其中URL为http://maoyan.com/board/4?offset=10可以看出与第一部URL的主要区别在于末尾添加了(offset参数)。为了获取后续网页的信息只需要在其后附加相应的offset参数即可完成抓取。

第二页

3.请求网页

首先请求一个页面,通过r

全部评论 (0)

还没有任何评论哟~