招聘网站数据分析

摘 要：数据分析使用了Python为主要开发工具，使用了HTML来展示可视化的内容。展现了热门岗位的数量，学历要求的比例，热门城市的平均工资和岗位数量分布图。网页连接了MySQL数据库，当MySQl数据库数据发生变动时，可视化展现的数据也会发生改变。课题的实现方式为：使用爬虫爬取前程无忧这个网页上的数据，筛选出想要的数据存储进excle表中，再将表中的数据导入到Mysql数据库，用Pycharm连接数据库，最后将爬取出来的数据进行可视化并美化网页。

关键词：数据爬取  数据清洗 数据可视化

目 录

1 引言 1

1.1 课题的研究背景及意义 1

1.2课题现状与发展趋势 1

1.3课题的可行性分析 2

2 项目的目标和内容 3

2.1 项目的目标 3

2.2 项目的内容 3

3 开发环境以及工具和技术的介绍 4

3.1 项目开发环境 4

3.2 主要开发工具介绍 4

3.2.1 PyCharm 4

3.2.2 MySQL 5

3.2.3 Python 3.7 5

3.2.4 SQLyog - 64 bit Trial 5

3.3 主要技术介绍 6

3.3.1 HTML 6

3.3.2 JSON数据传输 6

3.3.3 PymySQL 6

3.3.4 HTTP协议 7

3.3.5 Requests/Scrapy 7

3.3.6 Echarts 7

4 项目概述 9

4.1 项目的开发环境 9

4.2 项目模块和流程 9

4.3 项目进度安排 10

5 数据获取 11

6 数据处理 16

7 数据可视化 22

8 总结与展望 28

致谢 29

参考文献 30