懒人法:Python request模拟登陆
发布时间
阅读量:
阅读量
Python request 模拟登陆懒人法
近期开展的项目中,需要大量图片作为数据集支撑。合作方将所有图片上传至服务器,原本计划采用最基础的Python爬虫工具,依据图片地址逐条抓取。然而该系统设置了用户名与密码验证机制,若直接访问默认资源路径则会被跳转至登录页面。在查阅相关资料后了解到,访问此类资源时需借助requests库模拟登录操作。不过本人对cookies等概念理解不深,最终参考知乎上某位技术大牛的方法,发现了一种简便且通用的解决方案。
此次方案涉及“selenium”与“requests”两个库的使用。通过selenium实现模拟登录操作,并将获取到的Cookies传递给requests库,从而完成后续网站内容的抓取工作。该方法的优势在于:一方面避免了selenium本身抓取效率较低的问题(仅用于登录环节),另一方面也省去了使用requests进行登录时手动构造复杂Cookies的过程(直接从selenium中提取Cookies)。
在实施过程中需准备一个webdriver工具,此处选用的是chromedriver,用户可自行前往网络平台下载对应版本即可。
from selenium import webdriver
from selenium.
全部评论 (0)
还没有任何评论哟~
