Python爬虫实践及利用requests模块分析和可视化拉勾网求职信息

阅读量：

前言

基于requests库对拉勾网上的职位招聘信息进行采集，并开展相应的数据分析与可视化工作，此处不再赘述。

接下来，让我们正式进入操作流程。

开发工具

Python版本： 3.6.4

相关模块：

requests库；

re库；

os库；

jieba库；

pandas库；

numpy库；

pyecharts库；

以及若干Python内置的模块。

环境搭建

将Python进行安装，并将其路径配置至系统环境变量中，随后通过pip工具下载并配置所需的相关模块即可完成准备工作。

数据爬取

爬取拉勾网求职信息

1.requests 请求，获取单页面

复制代码

    # 我们最常用的流程：网页上复制url->发送get请求—>打印页面内容->分析抓取数据 
    # 1.获取拉钩网url 
    req_url = 'https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=' 
    # 2.发送get请求 
    req_result = requests.get(req_url) 
    # 3.打印请求结

全部评论 (0)

还没有任何评论哟~