Python爬虫用seleniumwire模拟浏览器反向代理获取参数

文章结构概述

• 引言

  • 一、配置

  • 二、基础操作

  • 三、参数设置

  • • 1. 隐藏浏览器界面
    • 2. 增加cookies信息

  • 四、代理设置

  • 五、提取cookies及其他参数

  • 结论

前言

在数据采集过程中，有时会面临较为复杂的JavaScript逆向问题。若不考虑访问效率因素，借助Selenium模拟浏览器操作的方式，能够在很大程度上降低反爬虫逆向处理的工作强度。然而，常规的Selenium库无法获取诸如set-cookie之类的参数信息，此时需要引入Selenium-wire库来实现相关功能。该库的使用方式与Selenium相似。

一、安装

首先需要完成selenium-wire库的安装工作

    pip install selenium-wire
    
    
    AI写代码shell

接下来需要根据计算机中安装的Chrome浏览器版本，下载对应的chromedriver程序。

![在这里插入图片