用python selenium etree获取Indiagogo众筹项目产品信息,并将爬取的数据分别以csv格式和json格式保存,并实现网页长截图
发布时间
阅读量:
阅读量
通过Python语言中的Selenium、etree等工具,获取Indiegogo平台众筹项目的产品相关信息,并将所采集的数据分别保存为CSV格式与JSON格式,同时完成对网页的长截图操作,具体实现代码如下:
import csv
import time
import requests
from random import randrange
from fake_useragent import UserAgent
from lxml import html
from selenium import webdriver
import json
import os.path
import multiprocessing as mp
from selenium.webdriver.chrome.options import Options
class getProduct():
etree = html.etree
headers = { "authority": "www.indiegogo.com",
"method": "POST",
"path": "/private_api/discover",
全部评论 (0)
还没有任何评论哟~
