程序员分布大数据统计

摘  要：中国最大的软件开发人员网站CSDN的平台，在最近做一个专题的时候，在页面上放置了一个计数器，通过对地域的统计而的出来的结果。这个样本的数量超过数千例，因此我认为基本上可以比较准确的反应中国程序员的分部情况。我受到了这个数据图的启发从而有这个想法去统计程序员分布大数据的一个趋势，方便以后在程序员这个的行业能更好的选择道路。程序员是一个在大家认知范围内是一个高薪的工作，所以对有想法从事程序员的人可以有个大概的参考。  

 爬取网站上的2019-2020年程序员的数量，学习变化，工程师的年龄分布，各开发技能的分布，公司人员的流动以及各地区程序员的占比。利用xmind设计思维导图，再利用Photoshop制作处理用来装饰页面的图片。使用SQLyog - MySQL GUI - 64 bit工具建立数据库，PyCharm进行网站开发（用Python进行代码编写，用Photoshop处理图片，用echarts进行界面布局）。使用SQL Server 2005工具建立数据库，Pycharm可以自行生成网页文件并且通过导包来连接Mysql数据库以及引入其他如同js文件等其他辅助工具。Pycharm还可以利用requests模块，通过header头来爬取网页数据。

关键词：MySQL数据库  程序员分布  数据爬取  

目 录

1 引言2

1.1 课题的研究背景以及意义2

1.2 课题现状与发展趋势2

1.3 课题的可行性分析2

2 项目目标和内容4

2.1 目标和内容4

2.1.1 目标4

2.1.2 内容4

2.2 相关任务4

3 开发环境以及工具和技术的介绍5

3.1 项目开发环境5

3.2 主要开发工具介绍5

3.2.1 PyCharm5

3.2.2 Mysql7

3.2.3 Python7

3.3 主要技术介绍8

3.3.1 HTML8

3.3.2 java script8

3.3.3 CSS9

3.3.4 Python核心编程9

3.3.5 JSON数据传输10

3.3.6 AJAX10

3.3.7 ECharts11

3.3.8 Numpy12

4 项目分析13

4.1 项目概述13

4.2 项目性能需求13

4.3 项目模块和流程14

4.4 项目进度安排14

5 数据库设计16

5.1 MySQL数据库设计16

6 项目实现17

6.1 环境搭建17

6.2 数据爬取19

6.3 保存数据到数据库/JSON文件/Excl表格/CSV/TXT19

6.4 读取数据前后端结合ECharts生产图表21

7 总结与展望25

致谢26

参考文献27