Advertisement

用python selenium etree获取Indiagogo众筹项目产品信息,并将爬取的数据分别以csv格式和json格式保存,并实现网页长截图

阅读量:

通过Python语言中的Selenium、etree等工具,获取Indiegogo平台众筹项目的产品相关信息,并将所采集的数据分别保存为CSV格式与JSON格式,同时完成对网页的长截图操作,具体实现代码如下:

复制代码
    import csv
    import time
    import requests
    from random import randrange
    from fake_useragent import UserAgent
    from lxml import html
    from selenium import webdriver
    import json
    
    import os.path
    import multiprocessing as mp
    from selenium.webdriver.chrome.options import Options
    
    
    class getProduct():
    
    etree = html.etree
    headers = { "authority": "www.indiegogo.com",
    "method": "POST",
    "path": "/private_api/discover",

全部评论 (0)

还没有任何评论哟~