Python scrapy和selenium用于从51job获取职位信息（通过参数控制页数、职位名称和城市）

目录

一、目标

二、51job网页分析：

1.网页结构观察

2.网页内容分析

三、代码实现

1. 遇到的困难-----实现城市选择

2.代码编写过程

3.代码改进措施

1）数据存储格式优化

2）在爬虫过程中去除\xa0\xa0字符

3）通过normalize-space(节点)方式清除\r\n\t符号

4.pipelines.py 定义存储方式

---

一、目标

通过传递参数（职位和地区）来实现对51job平台职位信息的抓取控制。

所获取的信息内容涵盖：职位名称、薪资水平、招聘企业、福利条件、所在城市区域、工作经验要求、学历门槛、招聘人数、招聘信息发布时间、公司具体地址、岗位职责描述、任职条件、企业类型、企业规模以及招聘公司所属行业。

二、51job网页结构与内容分析

1.网页构成观察

搜索入口1：

检索入口2：