Advertisement

[Selenium+Pyecharts]爬取建筑设计师招聘信息并进行数据清洗与可视化

阅读量:

前言:
在8小时的时间限制内,完成了爬虫程序的编写、数据的预处理以及结果的可视化展示。由于自身对相关技术的理解尚处于初级阶段,整个过程时间较为紧张,因此在多个环节未能达到理想状态,例如在数据清洗过程中采取了一些简化的处理方式。若存在疏漏或不当之处,恳请各位专家不吝赐教,提出宝贵意见。

复制代码
    selenium :3.141.0
    pyecharts:1.9.0
    
    

1.Selenium爬取信息

我个人更倾向于使用selenium进行爬虫开发,因为能够体会到web自动化操作带来的乐趣。由于本次需要采集的数据量并不大,如果目标是获取大量信息的话,建议还是采用request的方式更为稳妥。

本次的目标网站是51job前程无忧,其中所使用的url可以替换为该平台任意岗位或职业的页面链接。

本次采集的主要信息内容涵盖:职位名称、发布日期、薪资待遇、学历要求、工作经验要求以及工作地点等关键数据。

对于网络连接速度较快的用户,建议适当减少程序中的等待时间,否则爬取过程将耗费较长时间。根据我的实际测试,整个过程大约耗时7.8分钟。

复制代码
    from selenium import webdriver
    import pandas as pd
    import time
    
    
    wd = w

全部评论 (0)

还没有任何评论哟~