Advertisement

使用Selenium非常重要!终于弄明白了!

阅读量:

《解析Python网络爬虫:核心技术、Scrapy框架与分布式爬虫》一书由黑马程序员编著,书中包含如下内容:

寻找一个真实的网页进行查看,便能清楚了解其运作方式。例如:

https://www.toutiao.com/search/?keyword=风景

当访问该网页时,可以发现网址保持不变,但向下滚动页面时,内容会持续加载(即实现了分页功能)。

——因此关键在于,若要编写能够爬取此类网页的程序,必须掌握其翻页机制的实现方式。否则,仅通过requests.get()获取的源代码将无法获得任何有用信息,如下图所示。

![](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/tDCYnZIfh9XTBiycK

全部评论 (0)

还没有任何评论哟~