本课程介绍Python编程基础及核心概念(一):主要涉及requests库与正则表达式的网页抓取技术与应用方法
发布时间
阅读量:
阅读量
1.概述
借助Python Requests库配合正则表达式从猫眼电影的排行榜页面maoyan.com开始提取电影详细信息,并包含如电影名称、主演演员阵容、上映日期等字段的数据内容。随后将收集到的数据整理后存储为文本文件。
2.网页分析
要爬取的网页为猫眼电影TOP100 http://maoyan.com/board/4
网页页面如下所示:

观察一下页面的显示规律是什么?每页能展示10个电影标题。接着查看第二页的具体信息如下:其中URL为http://maoyan.com/board/4?offset=10可以看出与第一部URL的主要区别在于末尾添加了(offset参数)。为了获取后续网页的信息只需要在其后附加相应的offset参数即可完成抓取。

3.请求网页
首先请求一个页面,通过r
全部评论 (0)
还没有任何评论哟~
