Advertisement

懒人法:Python request模拟登陆

阅读量:

Python request 模拟登陆懒人法

近期开展的项目中,需要大量图片作为数据集支撑。合作方将所有图片上传至服务器,原本计划采用最基础的Python爬虫工具,依据图片地址逐条抓取。然而该系统设置了用户名与密码验证机制,若直接访问默认资源路径则会被跳转至登录页面。在查阅相关资料后了解到,访问此类资源时需借助requests库模拟登录操作。不过本人对cookies等概念理解不深,最终参考知乎上某位技术大牛的方法,发现了一种简便且通用的解决方案。

此次方案涉及“selenium”与“requests”两个库的使用。通过selenium实现模拟登录操作,并将获取到的Cookies传递给requests库,从而完成后续网站内容的抓取工作。该方法的优势在于:一方面避免了selenium本身抓取效率较低的问题(仅用于登录环节),另一方面也省去了使用requests进行登录时手动构造复杂Cookies的过程(直接从selenium中提取Cookies)。

在实施过程中需准备一个webdriver工具,此处选用的是chromedriver,用户可自行前往网络平台下载对应版本即可。

复制代码
    from selenium import webdriver
    from selenium.

全部评论 (0)

还没有任何评论哟~