Python爬虫实战：Selenium模拟登录与抓取商品数据

阅读量：

前言

今日将为大家介绍如何借助Python实现对商品数据的模拟登录与抓取，不再赘述多余内容。

Let’s start happily

开发工具

Python版本： 3.6.4

相关模块：

selenium库

time库

requests库

lxml库

csv库

环境搭建

将Python进行安装，并将其路径配置至系统环境变量中，随后通过pip工具下载并配置所需的相关模块即可完成。

思路分析

本研究通过爬虫技术获取商品信息，详细阐述了实现模拟登录以提取商品数据的具体过程。

1.获取页面信息

复制代码

    class JdSpider(object):
    def __init__(self):
        self.i = 0
        self.url = "https://www.jd.com"
        self.browser = webdriver.Chrome(r"C:/python-3.9.6-embed-amd64/Application/chromedriver.exe")

2.获取页面信息 --到具体商品页面

复制代码

    def g

全部评论 (0)

还没有任何评论哟~