19｜http库：批量下载在线内容

在上一堂课中, 我们深入探讨并掌握了如何利用'requests-html'库来进行高效的图片批量下载操作. 这一技能能够帮助你顺利完成大部分需要处理互联网资源收集的任务.

除此之外，在某些情况下'requests-html'工具也无法处理这些场景例如涉及一些网站的每日签到功能这些网站允许用户在登录后只需点击按钮即可获取虚拟货币然而每次都需要手动输入用户名和密码并需要通过鼠标点击领取按钮如果你已经掌握了使用Python访问网页的技术那么你是否想过将这种签到过程自动化呢？

今天早上，在讲解完一些基本概念后, 我将以京东自动签到领金豆这一具体案例, 为大家介绍一款更为强大的通用浏览器框架——Selenium. 相较于 requests-html, 这款框架在功能与性能上均有显著提升. 通过Selenium, 我将带领大家较好地实现自动化登录功能以及模拟鼠标操作过程.

selenium 的适用场景

我也提到了，在将"requests-html"库运用于各种批量下载场景时, 你会遇到两种情况, 在这两种情况下使用"requests-html"无法实现批量下载。

一种情况是，在某些网页中会采取措施阻止非浏览器类应用获取其内容。具体而言，在这种情况下：如果要访问该网站的内容，则必须使用浏览器作为HTTP客户端。

在另一种情况下, 某些网站为了提升用户体验, 就采用了Java