Advertisement

小项目-_data processing: use pandas to handle work-related data

阅读量:

首先,我们来审视今日所需处理的数据内容,即通过爬取所获取的相关成果:

这里写图片描述

工作信息总量超过七千条

这里写图片描述

租房信息数据量约为6万条
本章任务包括:
1、对工作地址进行去重处理,并获取其对应的地理位置坐标(通过高德地图)
2、对公司信息进行去重,提取相关公司资料
3、开展工作筛选,由于从智联招聘爬取的数据中,许多职位虽然工作内容包含Python,但仅适用于Python脚本类工作,而标题中明确要求Java、PHP等其他编程语言的职位需要予以剔除
4、清理数据中的异常值,包括数值过大或过小的情况以及缺失值(NA)
5、依据工作内容、公司背景、岗位职责及技能要求等因素对职位进行评分,旨在识别出符合个人需求的岗位

开始处理:
首先导入数据并进行初步查看

复制代码
    import pandas as pd
    import numpy as 

全部评论 (0)

还没有任何评论哟~