51job数据分析可视化

摘  要： 随着网络招聘方式的兴起以及互联网技术的成熟,网络招聘已经是目前人们在求职就业时的主要选择方式,各大招聘网站也应运而生。我国逐年增长的应届毕业生及往届毕业生所构成的求职大军,引来了当今大学生的就业压力。本文就是利用数据挖掘技术挖掘51job的招聘数据,并设计实现相应可视化展示的数据分析,以达到清楚认识当前招聘现状的目的,对当代大学生的求职就业具有指导意义。

网页可视化采用Python开发语言及flask框架，并使用开发平台PyCharm完成系统的设计和实现,主要包括数据获取、数据导入、数据处理、数据分析以及数据可视化展示等五大功能模块。借用ECharts图表将数据以直方图、饼图等图表的形式进行展示,并结合MySQL数据库进行后台数据存储，Ajax技术把后端数据传送到前端网页。 

关键词：flask PyCharm MySQL数据库 ECharts 

目 录

1 引言4

1.1 课题的研究背景及意义4

1.2 课题现状与发展趋势4

1.3 课题的可行性分析5

2 项目目标和内容6

2.1 目标和内容6

2.2 相关任务7

3 开发工具及环境介绍8

3.1 51job招聘数据分析可视化的开发环境8

3.1.1 Windows108

3.2 本项目应用的主要开发工具9

3.2.1 PyCharm9

3.2.2 MySQL 5.79

3.2.3 SQLyog9

3.2.4 Python3.710

3.3 本项目应用的主要开发技术11

3.3.1 HTML11

3.3.2 java script12

3.3.3 CSS12

3.3.4 Python核心编程12

3.3.5 JSON数据传输14

3.3.6 AJAX14

3.3.7 jQuery14

3.3.8 Flask微服务器15

3.3.9 PymySQL15

3.3.10 HTTP协议15

3.3.11 Requests/Scrapy15

3.3.12 Eharts15

3.3.13 NumPy16

3.3.14 Pandas16

4 项目分析17

4.1 项目概述17

4.2 项目性能需求17

4.3 项目模块和流程17

4.4 项目进度安排18

5 数据库设计20

5.1 MySQL数据库设计命名规范20

5.2 数据库表关系20

6 项目实现22

6.1 环境搭建22

6.2 数据爬取23

6.3 数据分析与数据清洗26

6.4 保存数据到数据库/JSON文件/Excl表格/CSV/TXT27

6.5 读取数据前后端结合ECharts生产图表29

7 项目优化33

7.1 HTML页面美化和整理33

8 总结与展望34

致谢35

参考文献36