[Selenium+Pyecharts]爬取建筑设计师招聘信息并进行数据清洗与可视化
发布时间
阅读量:
阅读量
前言:
在8小时的时间限制内,完成了爬虫程序的编写、数据的预处理以及结果的可视化展示。由于自身对相关技术的理解尚处于初级阶段,整个过程时间较为紧张,因此在多个环节未能达到理想状态,例如在数据清洗过程中采取了一些简化的处理方式。若存在疏漏或不当之处,恳请各位专家不吝赐教,提出宝贵意见。
selenium :3.141.0
pyecharts:1.9.0
1.Selenium爬取信息
我个人更倾向于使用selenium进行爬虫开发,因为能够体会到web自动化操作带来的乐趣。由于本次需要采集的数据量并不大,如果目标是获取大量信息的话,建议还是采用request的方式更为稳妥。
本次的目标网站是51job前程无忧,其中所使用的url可以替换为该平台任意岗位或职业的页面链接。
本次采集的主要信息内容涵盖:职位名称、发布日期、薪资待遇、学历要求、工作经验要求以及工作地点等关键数据。
对于网络连接速度较快的用户,建议适当减少程序中的等待时间,否则爬取过程将耗费较长时间。根据我的实际测试,整个过程大约耗时7.8分钟。
from selenium import webdriver
import pandas as pd
import time
wd = w
全部评论 (0)
还没有任何评论哟~
