简易数据分析 05 | WebScraper翻页控制批量获取网页链接

这是简易数据分析系列的第 5 篇 文章。

原文首发于博客园：Web Scraper 翻页——控制链接批量抓取数据

上篇文章我们获取了豆瓣电影 TOP250 中排名前 25 的影片信息，今日将在原有的 Web Scraper 配置基础上进行一些细微调整，使爬虫能够完整地抓取全部 250 条电影数据。

此前我们已提及，爬虫的核心在于发现规律 ，当初网页开发者构建页面时，必然遵循了某些特定的规则。一旦我们识别出这些规律，便能推测其设计逻辑，并借此实现自身的目标。

今日我们将尝试探寻豆瓣网站所隐藏的规律，以期实现对全部数据的获取。本次探索将从那些常被忽视的网址链接入手。

1.链接分析方法与应用

首先查看第一页的豆瓣网站链接：

[https://