python实战项目76:51job数据采集与分析
- 一、数据采集
- 二、数据预处理
- 2.1 导入相关库、读取数据
- 2.2 查看数据
- 2.3 处理数据、删除重复值、删除空值
- 2.4 处理薪资水平字段数据
- 三、数据可视化
- 3.1 不同公司规模招聘岗位数量分布
- 3.2 不同公司性质招聘岗位数量分布
- 3.3 不同年限要求招聘岗位数量分布
- 3.4 不同学历要求招聘数量占比饼图
- 四、完整代码
一、数据采集
在51job官网搜索上海地区的大数据开发工程师岗位，url地址。
接下来，进行抓包、寻找数据接口，然后编写代码，发送请求、获取数据，解析数据以及保存数据，这些步骤不再赘述，直接上代码。
from pprint import pprint
import requests
import csvcookies = 
)
